A Microsoft e a Warner Bros. colaboraram para armazenar e recuperar com sucesso todo o icônico filme "Superman" de 1978 em um pedaço de vidro quase do tamanho de uma montanha-russa, 75 por 75 por 2 milímetros de espessura.

Foi o primeiro teste de prova de conceito para o Projeto Sílica, um projeto de pesquisa da Microsoft que usa descobertas recentes em óptica de laser ultrarrápida e inteligência artificial para armazenar dados em vidro de quartzo. Um laser codifica dados em vidro criando camadas de grades em nanoescala tridimensionais e deformações em várias profundidades e ângulos. Algoritmos de aprendizado de máquina lêem os dados decodificando imagens e padrões que são criados conforme a luz polarizada brilha através do vidro.

O vidro de sílica dura pode resistir à fervura em água quente, assado no forno, micro-ondas, inundado, lavado, desmagnetizado e outras ameaças ambientais que podem destruir arquivos históricos inestimáveis ​​ou tesouros culturais se as coisas derem errado.

Representa um investimento do Microsoft Azure para desenvolver tecnologias de armazenamento construídas especificamente para padrões de computação em nuvem, em vez de depender de mídia de armazenamento projetada para funcionar em computadores ou outros cenários. É apenas uma das muitas maneiras pelas quais o Azure confia na experiência de pesquisa da Microsoft para resolver os desafios de curto e longo prazo - desde os testes de data center subaquático do Project Natick até o poder de processamento FPGA do Project Brainwave e as pesquisas emergentes do Optics for the Cloud.

"Armazenar todo o filme 'Superman' em vidro e ser capaz de lê-lo com sucesso é um marco importante, "disse Mark Russinovich, Diretor de tecnologia do Azure. "Não estou dizendo que todas as perguntas foram totalmente respondidas, mas parece que agora estamos em uma fase em que estamos trabalhando no refinamento e na experimentação, em vez disso, fazer a pergunta 'podemos fazer isso?' "

Warner Bros., que abordou a Microsoft depois de saber da pesquisa, está sempre em busca de novas tecnologias para proteger sua vasta biblioteca de ativos:tesouros históricos como "Casablanca, "Programas de rádio dos anos 1940, shorts animados, filmes cinematográficos filmados digitalmente, sitcoms de televisão, jornais diários de sets de filmagem. Por anos, eles procuraram uma tecnologia de armazenamento que pudesse durar centenas de anos, resistir a inundações ou explosões solares e não requer ser mantido em uma determinada temperatura ou precisa de renovação constante.

"Esse sempre foi nosso farol de esperança para o que acreditávamos que seria possível um dia, então, quando soubemos que a Microsoft havia desenvolvido essa tecnologia baseada em vidro, queríamos provar isso, "disse a diretora de tecnologia da Warner Bros., Vicky Colf.

Reduzindo os custos de armazenamento de longo prazo

A maioria das pessoas pensa na "nuvem" como uma forma de armazenar tudo, desde milhares de fotos de família a milhões de e-mails, sem ocupar espaço em seu telefone ou computador. Mas todas essas informações estão sendo armazenadas fisicamente no hardware em um local remoto, permitindo que você acesse a partir de vários dispositivos.

A quantidade de dados que a humanidade está procurando armazenar - de registros médicos a vídeos engraçados de gatos e imagens tiradas por espaçonaves - está explodindo ao mesmo tempo que a capacidade das tecnologias de armazenamento existentes está diminuindo.

Os custos de armazenamento de longo prazo são aumentados pela necessidade de transferir dados repetidamente para mídias mais novas antes que as informações sejam perdidas. As unidades de disco rígido podem se desgastar após três a cinco anos. A fita magnética pode durar apenas cinco a sete. Os formatos de arquivo se tornam obsoletos, e as atualizações são caras. Em seus próprios arquivos digitais, por exemplo, A Warner Bros. migra conteúdo de forma proativa a cada três anos para ficar à frente dos problemas de degradação.

O armazenamento de vidro tem o potencial de se tornar uma opção de baixo custo porque você só grava os dados no vidro uma vez. Lasers de femtossegundos - aqueles que emitem pulsos ópticos ultracurtos e que são comumente usados ​​em cirurgia LASIK - mudam permanentemente a estrutura do vidro, para que os dados possam ser preservados por séculos.

O vidro de quartzo também não precisa de ar condicionado que consome muita energia para manter o material em uma temperatura constante ou de sistemas que removem a umidade do ar - ambos os quais poderiam reduzir a pegada ambiental do armazenamento de dados em grande escala.

"Não estamos tentando construir coisas que você coloca em sua casa ou a partir de filmes. Estamos construindo um armazenamento que opera em escala de nuvem, "disse Ant Rowstron, parceiro vice-diretor de laboratório da Microsoft Research Cambridge no Reino Unido, que colaborou com a Universidade de Southampton para desenvolver o Projeto Sílica.

"Uma grande coisa que queríamos eliminar é esse ciclo caro de mover e reescrever dados para a próxima geração. Nós realmente queremos algo que você possa colocar na prateleira por 50, 100 ou 1, 000 anos e esqueça até precisar, "Rowstron disse.

O Projeto Silica tem como objetivo armazenar o que é conhecido como dados "frios" - dados de arquivamento que podem ter um valor tremendo ou que as empresas são obrigadas a manter - mas que não precisam ser acessados ​​com frequência. Isso pode incluir dados médicos que devem ser mantidos por toda a vida do paciente, dados de regulamentação financeira, contratos legais, informações geológicas que pertencem à exploração de energia e planos de construção que as cidades precisam manter.

A Warner Bros. estava profundamente interessada em ajudar a Microsoft a testar soluções que pudessem aliviar os custos e as ineficiências associadas ao armazenamento de dados ao longo desses horizontes de tempo, Colf disse.

"Com a maior biblioteca de conteúdo da indústria de mídia e entretenimento em muitas medidas, nossos desafios são únicos em sua escala, mas certamente não são os únicos em termos do problema que estamos tentando resolver, " ela disse.

Transformando dados digitais em artefatos físicos

Com uma história de quase 100 anos no cinema e na televisão, A Warner Bros. possui uma das bibliotecas de entretenimento mais profundas e significativas do mundo. O relançamento de filmes antigos em novos formatos ou para novos públicos é uma parte importante do negócio. Também é uma tremenda responsabilidade cultural preservar algumas das histórias mais amadas do mundo para sempre, Colf disse.

"Imagine se um título como o 'Mágico de Oz' ou um programa como 'Amigos' não estivesse disponível para geração após geração curtir, ver e entender, "disse ela." Achamos isso inimaginável, e é por isso que levamos o trabalho de preservação e arquivamento de nosso conteúdo muito a sério. "

A empresa tem planos de redundância em vigor para lidar com vários cenários de pior caso:um terremoto ou furacão que atinge uma das costas, um incêndio em que os sistemas de supressão não entram em ação ou uma falha no controle do clima que permite que a umidade se acumule e estrague o estoque de filme.

O objetivo é ter três cópias de arquivo de cada ativo armazenado em diferentes locais ao redor do mundo:duas cópias digitalizadas separadas, junto com a cópia física original em qualquer meio em que um filme ou episódio de televisão ou desenho animado tenha sido criado.

Felizmente, negativos de filmes originais durarão séculos se armazenados nas condições certas. Mas para alguns programas de televisão mais antigos - pense em episódios de "Alice" filmados na década de 1970 - a cópia física original tem uma vida útil limitada que requer a migração para formatos mais novos. E para os filmes e programas de televisão de hoje que são filmados digitalmente, a terceira cópia com qualidade de arquivo tem um ciclo de migração muito curto de três a cinco anos, o que é um desafio de gerenciar.

"Digamos que um programa de TV esteja entrando diretamente em nossos arquivos digitais; não há nada físico, "disse Steven Anastasi, Vice-presidente da Warner Bros. para arquivos de mídia global e serviços de preservação. "O arquivo digital está entrando, mas não tenho nada que possa colocar em um cofre ou em uma mina de sal ou qualquer coisa física entrando no prédio."

A Warner Bros. está potencialmente procurando no Projeto Silica para criar um ativo físico permanente para armazenar conteúdo digital importante e fornecer cópias de backup duráveis. Agora mesmo, para lançamentos cinematográficos filmados digitalmente, a empresa cria uma terceira cópia de arquivo convertendo-a novamente em filme analógico. Ele divide a filmagem final em três componentes de cor —cyan, magenta e amarelo - e transfere cada um para negativos de filme preto e branco que não desbotam como um filme colorido.

Esses negativos são colocados em um arquivo de armazenamento a frio. Nestes cofres altamente gerenciados, temperatura e umidade são rigidamente controladas, e os farejadores procuram por sinais de decomposição química que podem indicar problemas. Se eles precisarem do filme de volta, eles devem reverter essas etapas complicadas.

Esse processo é caro, e há apenas um punhado de laboratórios de cinema restantes no mundo que podem fazer isso. E o processo não é ideal do ponto de vista qualitativo, disse Brad Collar, Warner Bros. vice-presidente sênior de arquivos globais e engenharia de mídia.

"Quando filmamos algo digitalmente - com zeros e uns representando os pixels na tela - e imprimimos em um meio analógico chamado filme, você destrói os valores de pixel originais. E, certo, parece muito bom, mas não é reversível, "Colar disse.

"Se pudermos pegar a representação digital desses pixels e colocá-la em um meio como a sílica e lê-la exatamente como estava quando saiu da câmera, fizemos nosso trabalho de preservação com o melhor de nossa capacidade. Isso é o que eu amo sobre isso, " ele disse.

Não é econômico criar negativos de filme de arquivo para cada episódio de televisão filmado digitalmente na biblioteca da Warner Bros. A empresa espera que o Projeto Silica seja mais barato, alternativa de qualidade superior para criar arquivos físicos de conteúdo digital.

Há muito mais trabalho pela frente para alcançar essa escala - os pesquisadores da Microsoft precisariam aumentar significativamente a velocidade com que os dados podem ser gravados e lidos, bem como sua densidade. A Warner Bros. prevê sua própria infraestrutura para ler dados dos arquivos de vidro. Mas ambos os parceiros vêem a promessa de quão longe eles foram.

"Se a solução de armazenamento do Project Silica provar ser tão econômica e escalonável quanto poderia ser - e todos nós reconhecemos que ainda é cedo - isso é algo que adoraríamos ver adotado por outros estúdios e nossos pares e outras indústrias, "Colf disse.

"Se funcionar para nós, acreditamos firmemente que isso será um benefício para quem deseja preservar e arquivar conteúdo, " ela disse.

Projetando armazenamento para a nuvem

É impossível saber quanta informação foi perdida porque ninguém percebeu seu valor na época - de filmes mudos que ninguém imaginou que seriam vistos fora de um teatro a dados históricos dos quais ferramentas analíticas modernas e IA podem obter novos insights.

Um objetivo da pesquisa de armazenamento de próxima geração da Microsoft, que inclui esforços paralelos para armazenar dados no DNA, é desenvolver soluções que sejam baratas o suficiente e sem esforço o suficiente para que você realmente não precise fazer uma escolha sobre armazenar seus dados, a empresa diz.

Os pesquisadores da Microsoft passaram anos tentando chegar lá com tecnologias usadas atualmente em data centers. Mas o tamanho, A forma e as restrições de coisas como bobinas de fita e discos giratórios - todos inventados para outros propósitos muito antes de a nuvem existir - simplesmente não conseguiam os ganhos que desejavam.

"Eventualmente, apenas pensamos 'podemos construir algo do zero para a nuvem que não precise fazer mais nada?' ", disse Rowstron.

Eles lançaram uma colaboração com o Centro de Pesquisa Optoeletrônica da Universidade de Southampton, onde os pesquisadores demonstraram originalmente como armazenar dados em vidro com lasers de femtosegundo. Com o investimento do Azure, Cambridge da Microsoft, REINO UNIDO, laboratório construiu uma equipe interdisciplinar de físicos, especialistas em ótica, engenheiros elétricos e pesquisadores com experiência em armazenamento para levar a tecnologia ainda mais longe.

Desde então, a equipe de pesquisa da Microsoft alcançou avanços dramáticos em velocidade e precisão. Eles também trabalharam em estreita colaboração com seus colegas do Azure para projetar o Project Silica com os desafios e requisitos do dia-a-dia do armazenamento em nuvem comercial em mente.

"Conseguir todas as suas contribuições e pensamentos no projeto desde o primeiro dia significa que vamos gerar algo no final que seja realmente útil para eles, "Rowstron disse sobre o relacionamento com a equipe de produto do Azure.

Os lasers infravermelhos do Project Silica codificam dados em "voxels, "o equivalente tridimensional dos pixels que formam uma imagem plana. Ao contrário de outras mídias de armazenamento óptico que gravam dados na superfície de algo, O Projeto Silica armazena dados dentro do próprio vidro. Um pedaço de vidro de 2 mm de espessura, por exemplo, pode conter mais de 100 camadas de voxels.

Os dados são codificados em cada voxel, alterando a força e a orientação de intensos pulsos de laser que deformam fisicamente o vidro. É como criar icebergs de cabeça para baixo em nível de nanoescala, com diferentes profundidades e tamanhos e sulcos que os tornam únicos.

Para ler os dados de volta, algoritmos de aprendizado de máquina decodificam os padrões criados quando a luz polarizada brilha através do vidro. Ao contrário do armazenamento em fita - que leva tempo para entrar no spool para chegar ao lugar que você deseja ler de volta - os algoritmos podem rapidamente se concentrar em qualquer ponto dentro do quadrado de vidro, reduzindo potencialmente o tempo de espera para recuperar informações.

"Se você tem idade suficiente para lembrar de rebobinar e encaminhar músicas em fitas cassete, pode demorar um pouco para chegar à parte que você deseja, "disse Richard Black, Engenheiro de software de pesquisa principal da Microsoft. "Por contraste, é muito rápido ler a partir do vidro porque você pode mover-se simultaneamente dentro dos eixos x, y ou z. "

Ao contrário dos frágeis copos de vinho ou lâmpadas, os quadrados de vidro de quartzo usados ​​para armazenamento de dados são surpreendentemente difíceis de destruir. Logo no início, a equipe de pesquisa tentou assar um em um forno a 500 graus, microondas, fervendo-o, esfregando-o com lã de aço. E quando eles lêem os dados de volta, ainda estava tudo lá.

Isso fez todo o sentido para os arquivistas da Warner Bros., que anos atrás descobriu caixas de seriados de rádio do Superman gravados na década de 1940 em pedaços de vidro de tamanho recorde.

"Na verdade, encontramos jogadores nos quais poderíamos jogar essas coisas de volta, e eles eram tão bons porque eram armazenados em vidro. E pudemos digitalizar e salvar essas peças maravilhosas de conteúdo, "Colar disse.

"Então, agora um dos nossos ativos mais antigos em nosso cofre é o vidro e uma das mais novas tecnologias em nosso cofre é o vidro. E ambos são Superman. Então, nós realmente fechamos o círculo, " ele disse.