Ao se concentrar na marcha dos humanos, simetria corporal e posicionamento dos pés, Pesquisadores da Universidade de Michigan estão ensinando carros autônomos a reconhecer e prever os movimentos de pedestres com maior precisão do que as tecnologias atuais.

Dados coletados por veículos por meio de câmeras, LiDAR e GPS permitem aos pesquisadores capturar trechos de vídeo de humanos em movimento e, em seguida, recriá-los em simulação de computador 3-D. Com isso, eles criaram uma "rede neural recorrente inspirada biomecanicamente" que cataloga os movimentos humanos.

Com isso, eles podem prever poses e localizações futuras para um ou vários pedestres até cerca de 50 metros do veículo. Isso é mais ou menos a escala de uma interseção de uma cidade.

"O trabalho anterior nesta área normalmente olhava apenas para imagens estáticas. Não estava realmente preocupado com a forma como as pessoas se moviam em três dimensões, "disse Ram Vasudevan, Professor assistente de engenharia mecânica da U-M. "Mas se esses veículos vão operar e interagir no mundo real, precisamos ter certeza de que nossas previsões sobre o destino de um pedestre não coincidem com o próximo destino do veículo. "

Equipar veículos com o poder preditivo necessário requer que a rede mergulhe nas minúcias do movimento humano:o ritmo da marcha de um ser humano (periodicidade), a simetria espelhada dos membros, e a maneira como a colocação dos pés afeta a estabilidade durante a caminhada.

Muito do aprendizado de máquina usado para trazer a tecnologia autônoma ao seu nível atual lidou com imagens bidimensionais - fotos estáticas. Um computador que mostrou vários milhões de fotos de um sinal de parada acabará por reconhecer os sinais de parada no mundo real e em tempo real.

Mas, ao utilizar videoclipes que duram vários segundos, o sistema U-M pode estudar a primeira metade do snippet para fazer suas previsões, e então verifique a precisão com a segunda metade.

"Agora, estamos treinando o sistema para reconhecer o movimento e fazer previsões não apenas de uma única coisa - seja um sinal de pare ou não - mas de onde o corpo do pedestre estará na próxima etapa e na próxima e na próxima, "disse Matthew Johnson-Roberson, professor associado do Departamento de Arquitetura Naval e Engenharia Marinha da U-M.

Para explicar o tipo de extrapolações que a rede neural pode fazer, Vasudevan descreve uma visão comum.

"Se um pedestre está brincando com seu telefone, você sabe que eles estão distraídos, "Vasudevan disse." A pose deles e para onde eles estão olhando diz muito sobre o nível de atenção deles. Também diz muito sobre o que eles são capazes de fazer a seguir. "

Os resultados mostraram que este novo sistema melhora a capacidade de um veículo sem motorista de reconhecer o que é mais provável de acontecer a seguir.

"O erro de tradução médio de nossa previsão foi de aproximadamente 10 cm após um segundo e menos de 80 cm após seis segundos. Todos os outros métodos de comparação estavam a até 7 metros de distância, "Johnson-Roberson disse." Somos melhores em descobrir onde uma pessoa vai estar. "

Para controlar o número de opções para prever o próximo movimento, os pesquisadores aplicaram as restrições físicas do corpo humano - nossa incapacidade de voar ou nossa velocidade mais rápida possível a pé.

Para criar o conjunto de dados usado para treinar a rede neural do U-M, pesquisadores estacionaram um veículo com recursos autônomos de nível 4 em vários cruzamentos de Ann Arbor. Com as câmeras do carro e o LiDAR voltado para o cruzamento, o veículo pode registrar vários dias de dados de uma vez.

Os pesquisadores reforçaram esse mundo real, dados "in the wild" de conjuntos de dados de pose tradicionais capturados em um laboratório. O resultado é um sistema que vai elevar a fasquia do que os veículos sem condutor são capazes.

"Estamos abertos a diversas aplicações e excelentes oportunidades de colaboração interdisciplinar, e esperamos criar e contribuir para uma forma mais segura, mais saudável, e um ambiente de vida mais eficiente, "disse o engenheiro de pesquisa da U-M Xiaoxiao Du.