Em cada frame de vídeo, idtracker.ai identifica corretamente cada peixe quase 100% das vezes (cores adicionadas pelo software) Crédito:Francisco Romero-Ferrero, adaptado de Métodos da Natureza papel
George é um peixe-zebra. Junto com Tom e 98 outros companheiros, George nada livremente em um tanque de laboratório no Centro Champalimaud para o Desconhecido (CCU), em Lisboa, Portugal. Uma câmera grava de cima um vídeo de todas as idas e vindas dos animais.
É possível distinguir peixes individuais das imagens de vídeo a cada momento? Sim, diz Gonzalo de Polavieja, investigador principal do Laboratório de Comportamento Coletivo, quem, com sua equipe, desenvolveu um programa chamado idtracker.ai que pode fazer o trabalho rapidamente e com extrema precisão. Seus resultados foram publicados na revista Métodos da Natureza .
"O objetivo final da nossa equipe é entender o comportamento do grupo, "diz de Polavieja, cujos nomes preferidos para os peixes são George e Tom. Queremos entender como os animais em um grupo decidem juntos e aprendem juntos. "Os pesquisadores buscaram extrair dos vídeos dados de alta qualidade, como a posição e a forma de cada animal, bem como seus caminhos individuais, sem erros.
Reconhecer cada indivíduo entre dezenas de pares semelhantes seria difícil para os humanos - ou, por falar nisso, um programa de computador convencional. "Nós simplesmente enlouqueceríamos tentando, "diz de Polavieja. Para grandes multidões, sem inteligência artificial na mistura, até mesmo um computador poderoso pode ter que executar o programa por anos para obter resultados. E isso provavelmente não seria muito preciso.
É aí que entra idtracker.ai. O novo software, diz de Polavieja, fornece os dados de qualidade necessários para uma segunda fase que analisa as regras que orientam o comportamento coletivo dos animais.
Quatro anos atrás, antes de ingressar na CCU, de Polavieja publicou a primeira versão do software em Métodos da Natureza , que não dependia de inteligência artificial. Os resultados foram muito mais modestos. "Podíamos rastrear 10 animais naquela época, " ele diz.
De Polavieja e seus co-autores, Francisco Romero-Ferrero, Mattia Bergomi, Robert Hinz e Francisco Heras, já testamos a nova versão AI com grupos de até 100 peixes-zebra. "Não testamos mais de 100 porque nosso tanque não é grande o suficiente para isso." Apesar disso, usando outra abordagem para registrar as imagens, eles mostraram que o software pode identificar até 150 peixes individuais com muito pouca perda de precisão. "Não acreditava que poderíamos atingir esses números; foi uma surpresa, "observa de Polavieja." Achei que não haveria informações suficientes nas imagens. "
Aprendizagem profunda
Idtracker.ai é composto por duas redes neurais de aprendizado profundo e alguns algoritmos mais convencionais. Uma rede neural de aprendizado profundo é uma simulação de computador de redes reais de neurônios no cérebro que são capazes de aprender com a experiência.
Usando as imagens de vídeo do peixe-zebra no tanque, a primeira rede da cadeia é treinada para dizer se cada mancha visível nas imagens corresponde a um único animal ou a vários.
Em cada frame de vídeo, idtracker.ai identifica corretamente cada peixe quase 100% das vezes (cores adicionadas pelo software) Crédito:Francisco Romero-Ferrero, adaptado do artigo da Nature Methods
Com esta saída, a segunda rede neural é então treinada para atribuir um nome (ou número) a cada bolha que contém apenas um peixe - em outras palavras, para identificar cada peixe individualmente. O reconhecimento é baseado nas características únicas de cada peixe-zebra. "As pessoas pensam que os peixes-zebra são todos iguais, mas isso prova que eles são, na verdade, todos diferentes uns dos outros, "observa de Polavieja.
Por último, o programa aplica dois algoritmos convencionais. "Uma é ganhar alguma certeza sobre os poucos indivíduos cujas identidades ainda são um tanto incertas, "diz de Polavieja." E o outro determina qual animal é qual quando seus caminhos se cruzam - isto é, quando suas trajetórias aparecem sobrepostas no vídeo.
Os resultados falam por si:leva cerca de uma hora para idtracker.ai identificar cada um dos 100 peixes-zebra no vídeo em todos os momentos com quase 100 por cento de precisão. "Se você mostrar à rede uma parte aleatória do vídeo que ela nunca viu antes e perguntar:'quem é?", a rede atribuirá corretamente o nome - ou número - certo para aquele peixe 99,997 por cento do tempo, "diz de Polavieja. E se você perguntar onde George, ou Tom, ou qualquer outro peixe-zebra está em um determinado momento, vai encontrá-lo na multidão quase sem sombra de dúvida.
A equipe também testou o software com moscas-das-frutas, peixe medaka (peixe de arroz japonês), formigas e ratos. Também funciona, embora com menor número de indivíduos. Os peixes-zebra são os melhores para esses estudos, diz de Polavieja. "Os camundongos são mais difíceis porque tendem a se agrupar e deformar."
"Esta é a primeira vez que dados de alta qualidade foram obtidos para 100 peixes, "diz de Polavieja. A equipe já usou idtracker.ai, que está disponível gratuitamente, para extrair um conjunto de regras que explicam o comportamento do peixe-zebra em grupos. Eles descrevem seus resultados em outro artigo, que postaram em bioarxiv.org e enviaram para publicação em uma revista científica.
Quanto a possíveis aplicações, este software pode permitir o rastreamento de pessoas, ou para identificar uma determinada pessoa em uma multidão com base em informações sobre sua aparência física. “Agora existe toda uma indústria para este tipo de software, "diz de Polavieja." As pessoas estão aplicando essas técnicas [de IA] para desenvolver outras ferramentas de rastreamento semelhantes. Mas antes de provarmos que podemos fazer isso em animais, era difícil acreditar que era mesmo remotamente possível. "