As descrições das células cerebrais em livros didáticos fazem os neurônios parecerem simples:um longo axônio central semelhante a uma espinha com dendritos ramificados. Tomados individualmente, eles podem ser fáceis de identificar e mapear, mas em um cérebro real, eles são mais como uma pilha nodosa de polvos, com centenas de membros entrelaçados. Isso torna a compreensão de como eles se comportam e interagem um grande desafio para os neurocientistas.

Uma maneira de os pesquisadores desemaranharem nossa confusão neural é por meio de imagens microscópicas. Tirando fotos de camadas muito finas de um cérebro e reconstruindo-as de forma tridimensional, é possível determinar onde estão as estruturas e como se relacionam.

Mas isso traz seus próprios desafios. Obter imagens de alta resolução, e capturá-los rapidamente para cobrir uma seção razoável do cérebro, é uma tarefa importante.

Parte do problema reside nas compensações e compromissos com os quais qualquer fotógrafo está familiarizado. Abra a abertura o tempo suficiente para permitir a entrada de muita luz e qualquer movimento causará um desfoque; tire uma imagem rápida para evitar o desfoque e o objeto pode ficar escuro.

Mas outros problemas são específicos dos métodos usados ​​na reconstrução do cérebro. Para um, imagens cerebrais de alta resolução levam um tempo tremendamente longo. Para outro, na técnica amplamente utilizada chamada microscopia eletrônica de face de bloco serial, um pedaço de tecido é cortado em um bloco, a superfície é fotografada, uma seção fina é cortada e o bloco, então, fotografado novamente; o processo é repetido até a conclusão. Contudo, o feixe de elétrons que cria as imagens microscópicas pode realmente fazer com que a amostra derreta, distorcendo o assunto que está tentando capturar.

Uri Manor, diretor do Waitt Advanced Biophotonics Core Facility do Salk Institute for Biological Studies em San Diego, é responsável por operar vários microscópios de alta potência usados ​​por pesquisadores em todo o país. Ele também tem a tarefa de identificar e implantar novos microscópios e desenvolver soluções que possam resolver os problemas que as tecnologias atuais enfrentam.

"Se alguém vem com um problema e nossos instrumentos não conseguem resolver, ou não podemos encontrar um que possa, é meu trabalho desenvolver essa capacidade, "Manor disse.

Cientes dos problemas de imagem que os neurocientistas enfrentam, ele decidiu que uma nova abordagem era necessária. Se ele tivesse atingido os limites físicos da microscopia, Manor raciocinou, talvez softwares e algoritmos melhores possam fornecer uma solução.

"Existem abordagens matemáticas e computacionais sofisticadas que foram estudadas por décadas para remover o ruído sem remover o sinal, "Manor disse." Foi aí que eu comecei. "

Trabalhando com Linjing Fang, um especialista em análise de imagens na Salk, eles elaboraram uma estratégia para usar GPUs (unidades de processamento gráfico) para acelerar o processamento de imagens microscópicas.

Eles começaram com um truque de processamento de imagens chamado deconvolução, desenvolvido em parte por John Sedat, um dos heróis científicos de Manor e um mentor em Salk. A abordagem foi usada por astrônomos que queriam resolver imagens de estrelas e planetas com maior resolução do que eles poderiam alcançar diretamente de telescópios.

"Se você conhece as propriedades ópticas do seu sistema, então você pode desfocar suas imagens e obter o dobro da resolução do original, " ele explicou.

Eles acreditavam que o aprendizado profundo - uma forma de aprendizado de máquina que usa várias camadas de análise para extrair progressivamente recursos de nível superior da entrada bruta - poderia ser muito útil para aumentar a resolução de imagens de microscópio, um processo denominado super-resolução.

Ressonâncias magnéticas, Imagem de satélite, e as fotografias serviram como casos de teste para desenvolver aprendizagem profunda, abordagens de super-resolução, mas notavelmente pouco foi feito em microscopia. Possivelmente, Manor pensou, o mesmo pode ser feito com a microscopia.

A primeira etapa no treinamento de um sistema de aprendizado profundo envolve encontrar um grande corpus de dados. Por esta, Manor se juntou a Kristen Harris, professor de neurociência da Universidade do Texas em Austin e um dos maiores especialistas em microscopia cerebral.

"Seus protocolos são usados ​​em todo o mundo. Ela estava fazendo ciência aberta antes que fosse legal, "Manor disse." Ela obtém imagens incrivelmente detalhadas e tem colaborado com Salk por vários anos. "

Harris ofereceu a Manor todos os dados que ele precisava para o treinamento. Então, usando o supercomputador Maverick no Texas Advanced Computing Center (TACC) e vários dias de computação contínua, ele criou análogos de baixa resolução das imagens do microscópio de alta resolução e treinou uma rede de aprendizagem profunda nesses pares de imagens.

"O TACC tem sido incrivelmente útil, "Manor disse." Eles nos forneceram hardware para fazer o treinamento antes que nosso cabelo caísse e nos forneceram conhecimento computacional e até mesmo ajudaram a executar experimentos computacionais para ajustar nosso processo. "

Infelizmente, As primeiras tentativas de Manor de criar versões de super-resolução de imagens de baixa resolução não tiveram sucesso. "Quando tentamos testar o sistema em dados de baixa resolução do mundo real que eram muito mais barulhentos do que nossos dados de treinamento de baixa resolução, a rede não se saiu muito bem. "

Manor teve outro golpe de sorte quando Jeremy Howard, fundador da fast.ai, e Fred Monroe, da Wicklow AI Medical Research Initiative (WAMRI.ai), veio para Salk em busca de problemas de pesquisa que pudessem se beneficiar do aprendizado profundo.

"Eles ficaram entusiasmados com o que estávamos fazendo. Foi uma aplicação perfeita para seus métodos de aprendizagem profunda e seu desejo de ajudar a levar a aprendizagem profunda para novos domínios, "Manor recordou." Começamos a usar alguns de seus truques que eles estabeleceram, incluindo crappificação. "

Na hora da reunião, Manor e Fang estavam diminuindo computacionalmente a resolução de suas imagens para os pares de treinamento, mas eles ainda não eram ruins o suficiente. Eles também estavam usando um tipo de arquitetura de aprendizado profundo chamado redes adversárias gerativas (GANs).

"Eles sugeriram adicionar mais ruído computacionalmente, "ele lembrou." 'Jogue algum borrão, e diferentes tipos de ruído, para tornar as imagens realmente ruins. ' Eles construíram uma biblioteca de crappifications e nós crappificamos nossas imagens até que se parecesse muito mais com, ou ainda pior do que, como é quando você adquire uma imagem de baixa resolução no mundo. Eles também nos ajudaram a mudar de GANs para arquiteturas U-Net, que são muito mais fáceis de treinar e melhores na remoção de ruído. "

Manor retreinou seu sistema de IA usando os novos pares de imagens e a arquitetura de aprendizado profundo e descobriu que ele poderia criar imagens de alta resolução muito semelhantes às que haviam sido originalmente criadas com maior ampliação. Além disso, especialistas treinados foram capazes de encontrar características de células cerebrais em versões decrappified das amostras de baixa resolução que não puderam ser detectadas nos originais.

Finalmente, eles colocaram seu sistema à prova:aplicando o método a imagens criadas em outros laboratórios com microscópios e preparações diferentes.

"Normalmente no aprendizado profundo, você tem que treinar novamente e ajustar o modelo para diferentes conjuntos de dados, "Disse Manor." Mas ficamos maravilhados que nosso sistema funcionou tão bem para uma ampla gama de conjuntos de amostras e imagens. "

O sucesso significa que as amostras podem ser fotografadas sem risco de danos, e que eles poderiam ser obtidos pelo menos 16 vezes mais rápido do que tradicionalmente.

"Para obter a imagem de todo o cérebro em resolução total pode levar mais de cem anos, "Manor explicou." Com um aumento de 16 vezes ao longo, talvez se torne 10 anos, o que é muito mais prático. "

A equipe publicou seus resultados na Biorxiv, apresentou-os na F8 Facebook Developer Conference e no 2º NSF NeuroNex 3DEM Workshop, e disponibilizou o código por meio do GitHub.

"Essa abordagem não funciona apenas. Nosso modelo de treinamento pode ser usado imediatamente, "Manor disse." É extremamente rápido e fácil. E quem quiser usar essa ferramenta em breve poderá fazer login em 3DEM.org [uma plataforma de pesquisa baseada na web focada no desenvolvimento e disseminação de novas tecnologias para microscopia eletrônica tridimensional de resolução aprimorada, apoiado pela National Science Foundation] e analisar seus dados por meio dele. "

"O Uri realmente incentiva essa ideia de melhoria da imagem por meio do aprendizado profundo, "Harris disse." Em última análise, esperamos não ter nenhuma imagem de baixa qualidade. Mas agora, muitas das imagens têm esse problema, então haverá lugares onde você deseja preencher os buracos com base no que está presente nas seções adjacentes. "

Manor espera desenvolver software que possa fazer a reconstrução em tempo real, para que os pesquisadores possam ver imagens de super resolução imediatamente, em vez de no pós-processamento. Ele também vê o potencial para melhorar o desempenho dos milhões de microscópios que já existem em laboratórios em todo o mundo e para construir um microscópio totalmente novo que aproveite os recursos de IA.

"Menos caro, Maior resolução, mais rápido - há muitas áreas que podemos melhorar. "

Com uma prova de conceito implementada, Manor e sua equipe desenvolveram uma ferramenta que permitirá avanços em toda a neurociência. Mas sem colaborações fortuitas com Kristen Harris, Howard e Monroe e TACC, pode nunca ter se concretizado.

"É um belo exemplo de como realmente fazer avanços na ciência. Você precisa ter especialistas abertos para trabalhar em conjunto com pessoas de qualquer lugar do mundo para fazer algo acontecer, "Manor disse." Eu me sinto muito sortudo por estar em uma posição onde eu poderia interagir com todos esses companheiros de equipe de classe mundial. "