p Você deve ter visto estrelas de Hollywood em trajes de "captura de movimento", atuando em trajes de corpo inteiro salpicados de sensores que permitem que um computador os transforme em um Hulk, um dragão ou uma fera encantada. p Agora, uma colaboração entre os laboratórios dos professores de Princeton Mala Murthy e Joshua Shaevitz deu um passo adiante, usando os mais recentes avanços em inteligência artificial (IA) para rastrear automaticamente as partes individuais do corpo dos animais em vídeos existentes.

p Sua nova ferramenta, LEAP estima a pose do animal (LEAP), pode ser treinado em questão de minutos para rastrear automaticamente as partes individuais do corpo de um animal em milhões de quadros de vídeo com alta precisão, sem ter que adicionar quaisquer marcadores físicos ou rótulos.

p "O método pode ser usado amplamente, em sistemas de modelos animais, e será útil para medir o comportamento de animais com mutações genéticas ou após tratamentos com drogas, "disse Murthy, professor associado de biologia molecular e do Princeton Neuroscience Institute (PNI).

p O artigo detalhando a nova tecnologia será publicado na edição de janeiro de 2019 da revista. Métodos da Natureza , mas sua versão de acesso aberto, lançado em maio, já fez com que o software fosse adotado por vários outros laboratórios.

p Quando os pesquisadores combinam o LEAP com outras ferramentas quantitativas desenvolvidas em seus laboratórios, eles podem estudar o que chamam de "a linguagem do comportamento", observando padrões nos movimentos do corpo animal, disse Shaevitz, professor de física e do Instituto Lewis-Sigler de Genômica Integrativa.

p "Esta é uma ferramenta flexível que pode, em princípio, ser usada em quaisquer dados de vídeo, "disse Talmo Pereira, um estudante de graduação do PNI que é o primeiro autor do artigo. "A maneira como funciona é rotular alguns pontos em alguns vídeos e, em seguida, a rede neural faz o resto. Oferecemos uma interface fácil de usar para qualquer pessoa aplicar o LEAP em seus próprios vídeos, sem ter nenhum conhecimento prévio de programação. "

p Quando questionado se o LEAP funcionou tão bem em grandes mamíferos quanto nas moscas e camundongos que constituíram a maioria dos sujeitos iniciais, Pereira prontamente criou um vídeo com tag de movimento de uma girafa retirado da transmissão ao vivo do Centro de Pesquisa Mpala no Quênia, uma estação de pesquisa de campo da qual Princeton é sócio-gerente.

p "Gravamos um vídeo de uma girafa ambulante da estação de pesquisa de Mpala ... e marcamos pontos em 30 quadros de vídeo, que levou menos de uma hora, "Pereira disse." O LEAP foi então capaz de rastrear o movimento de todo o resto do vídeo (cerca de 500 quadros) em segundos. "

p Esforços anteriores para desenvolver ferramentas de IA que pudessem rastrear o movimento humano dependeram de grandes conjuntos de treinamento de dados anotados manualmente. Isso permitiu que o software funcionasse de forma robusta em diversos tipos de dados, com fundos ou condições de iluminação muito diferentes.

p "No nosso caso, otimizamos métodos semelhantes para trabalhar em dados coletados em um ambiente de laboratório, em que as condições são consistentes nas gravações, ", disse Murthy." Nós construímos um sistema que permite ao usuário escolher uma rede neural apropriada para o tipo de dados que o usuário coletou, em vez de ser restringido pelo trabalho de outros pesquisadores ou empresas. "

p Este projeto surgiu de uma colaboração única entre um aluno sênior de tese no laboratório Murthy, Diego Aldarondo da Turma de 2018, e seu mentor aluno de pós-graduação, Pereira, que é aconselhado conjuntamente por Murthy e Shaevitz.

p "Diego estava explorando o uso de redes neurais profundas para anotar dados comportamentais de animais por meio de uma de suas aulas de ciência da computação em Princeton, e em bate-papos noturnos no laboratório com Talmo, ele percebeu que esses métodos poderiam ser aplicados de forma poderosa aos seus próprios dados:vídeos de moscas-das-frutas interagindo durante o ritual de namoro, "disse Murthy." A colaboração começou a partir daí, e foi incrivelmente divertido trabalhar juntos - Diego e Talmo mostraram como esses métodos de IA podem ser eficazes. "

p O trabalho também tem um grande potencial fora da neurociência, disse Monica Daley, palestrante sênior do Laboratório de Estrutura e Movimento do Royal Veterinary College do Reino Unido, que não esteve envolvido nesta pesquisa.

p "Grande parte da minha pesquisa visa compreender como os animais se movem de forma eficaz em diferentes terrenos e condições ambientais, "Daley disse." Um dos maiores desafios contínuos no campo é extrair informações significativas sobre o movimento dos animais a partir de imagens de vídeo. Nós processamos vídeos manualmente, exigindo muitas horas de trabalho tedioso, ou foco em análises muito simplistas e limitadas que podem ser automatizadas. Os algoritmos apresentados neste artigo têm potencial para automatizar a parte trabalhosa de nosso trabalho mais do que era possível anteriormente, o que poderia nos permitir estudar uma maior variedade de comportamentos locomotores de animais. "

p Depois de terem um banco de dados de movimentos e comportamentos, os neurocientistas da equipe podem estabelecer conexões com os processos neurais por trás deles. Isso permitirá que os pesquisadores "não apenas obtenham uma melhor compreensão de como o cérebro produz comportamentos, "disse Shaevitz, "mas também para explorar diagnósticos e terapias futuras que dependem de um computador interpretando as ações de alguém."

p Uma ferramenta semelhante foi compartilhada durante o verão por uma equipe de pesquisadores de Harvard, que usou a arquitetura de rede neural existente, enquanto a equipe de Princeton criou o seu próprio. "Nosso método e o deles têm vantagens diferentes, "disse Murthy." Este é um campo incrivelmente excitante no momento, com muita atividade no desenvolvimento de ferramentas de IA para estudos de comportamento e atividade neural. "

p "Usamos uma abordagem diferente, onde menor, redes mais enxutas podem alcançar alta precisão ao se especializar em novos conjuntos de dados rapidamente, "disse Pereira." Mais importante, mostramos que agora existem opções fáceis de usar para rastreamento de pose de animal via IA, e esperamos que isso encoraje o campo a começar a adotar abordagens mais quantitativas e precisas para medir o comportamento. "

p "Nos últimos cinco anos, a neurociência fez enormes avanços na tecnologia, observando e manipulando a atividade cerebral, "disse o co-autor Samuel Wang, professor de biologia molecular e PNI. "Agora, a classificação automática de comportamento adiciona um complemento crítico a essa tecnologia. Princeton está se tornando um centro central no campo da neuroetologia computacional. "