Cientistas desenvolvem estrutura de visão computacional para rastrear animais na natureza sem marcadores
MuPPET 3D. A estrutura consiste em um módulo de estimativa e rastreamento de pose, no qual podemos inserir facilmente qualquer estimador de pose e método de rastreamento de última geração. Identificamos todos os indivíduos em todas as visualizações (parte azul) apenas no primeiro quadro. Nos quadros subsequentes rastreamos as identidades com SORT. 3D-MuPPET prevê poses 3D junto com IDs de entrada de imagem multivisualização usando triangulação. Crédito:Revista Internacional de Visão Computacional (2024). DOI:10.1007/s11263-024-02074-y Pesquisadores do Cluster of Excellence Collective Behavior desenvolveram uma estrutura de visão computacional para estimativa de postura e rastreamento de identidade que podem ser usados em ambientes internos e externos. Este é um passo importante em direção ao rastreamento de animais na natureza sem marcadores, usando visão computacional e aprendizado de máquina.
Dois pombos bicam grãos num parque em Konstanz. Um terceiro pombo chega voando. Há quatro câmeras nas imediações. Os estudantes de doutorado Alex Chan e Urs Waldmann, do Cluster of Excellence Collective Behavior da Universidade de Konstanz, estão filmando a cena. Depois de uma hora, eles retornam com a filmagem ao escritório para analisá-la com uma estrutura de visão computacional para estimativa de postura e rastreamento de identidade.
A estrutura detecta e desenha uma caixa ao redor de todos os pombos. Ele registra partes centrais do corpo e determina sua postura, posição e interação com os outros pombos ao seu redor. Tudo isso acontece sem que nenhum marcador seja colocado nos pombos ou qualquer necessidade de um ser humano ser chamado para ajudar. Isto não teria sido possível há apenas alguns anos.
Estrutura 3D-MuPPET
Métodos sem marcadores para rastreamento de postura animal têm se desenvolvido rapidamente recentemente, mas ainda faltam estruturas e benchmarks para rastrear grandes grupos de animais em 3D. Para superar essa lacuna, o pesquisador Urs Waldmann do Cluster of Excellence Collective Behavior da Universidade de Konstanz e Alex Chan do Instituto Max Planck de Comportamento Animal e seus colegas apresentam o 3D-MuPPET, uma estrutura para estimar e rastrear poses 3D de até 10 pombos em velocidade interativa usando múltiplas visualizações de câmera.
A pesquisa foi publicada recentemente no International Journal of Computer Vision .
3D-MuPPET, que significa 3D Multi-Pigeon Pose Estimation and Tracking, é uma estrutura de visão computacional para estimativa de postura e rastreamento de identidade para até 10 pombos individuais a partir de quatro visualizações de câmeras, com base em dados coletados em ambientes cativos e até mesmo no selvagem.
“Treinamos um detector de ponto-chave 2D e triangulamos pontos em 3D, e também mostramos que modelos treinados em dados de um único pombo funcionam bem com dados de vários pombos”, explica Waldmann. Este é um primeiro exemplo de rastreamento de postura animal em 3D para um grupo inteiro de até 10 indivíduos.
Assim, a nova estrutura fornece um método concreto para os biólogos criarem experimentos e medirem a postura animal para análise comportamental automática. “Esta estrutura é um marco importante no rastreamento da postura animal e na análise comportamental automática”, diz Chan.
O framework pode ser usado livremente
Além de rastrear pombos em ambientes fechados, a estrutura também se estende aos pombos na natureza. "Usando um modelo que pode identificar o contorno de qualquer objeto em uma imagem chamado Segment Anything Model, treinamos ainda um detector de ponto-chave 2D com um pombo mascarado a partir dos dados cativos e, em seguida, aplicamos o modelo a vídeos de pombos ao ar livre sem qualquer ajuste extra do modelo. ", afirma Chan.
O 3D-MuPPET apresenta um dos primeiros estudos de caso sobre como fazer a transição do rastreamento de animais em cativeiro para o rastreamento de animais na natureza, permitindo que comportamentos em escala precisa dos animais sejam medidos em seus habitats naturais. Os métodos desenvolvidos podem potencialmente ser aplicados a outras espécies em trabalhos futuros, com aplicação potencial para pesquisas de comportamento coletivo em larga escala e monitoramento de espécies de forma não invasiva.
O 3D-MuPPET apresenta uma estrutura poderosa e flexível para pesquisadores que gostariam de usar a reconstrução da postura 3D de vários indivíduos para estudar o comportamento coletivo em qualquer ambiente ou espécie. Contanto que uma configuração multicâmera e um estimador de postura 2D estejam disponíveis, a estrutura pode ser aplicada para rastrear posturas 3D de qualquer animal.
