Para melhorar a segurança dos sistemas autônomos, Os engenheiros do MIT desenvolveram um sistema que pode sentir pequenas mudanças nas sombras no solo para determinar se há um objeto em movimento virando a esquina.

Carros autônomos poderiam um dia usar o sistema para evitar rapidamente uma potencial colisão com outro carro ou pedestre emergindo da esquina de um prédio ou entre carros estacionados. No futuro, robôs que podem navegar pelos corredores do hospital para fazer entregas de medicamentos ou suprimentos podem usar o sistema para evitar bater nas pessoas.

Em um artigo a ser apresentado na Conferência Internacional sobre Robôs e Sistemas Inteligentes (IROS) da próxima semana, os pesquisadores descrevem experiências bem-sucedidas com um carro autônomo dirigindo em torno de um estacionamento e uma cadeira de rodas autônoma navegando nos corredores. Ao detectar e parar para um veículo se aproximando, o sistema baseado em carro supera o LiDAR tradicional - que só pode detectar objetos visíveis - por mais de meio segundo.

Isso pode não parecer muito, mas frações de segundo importam quando se trata de veículos autônomos de movimento rápido, dizem os pesquisadores.

"Para aplicações em que robôs se movem em ambientes com outros objetos ou pessoas em movimento, nosso método pode dar ao robô um aviso prévio de que alguém está chegando, para que o veículo possa diminuir a velocidade, adaptar seu caminho, e prepare-se com antecedência para evitar uma colisão, "acrescenta a co-autora Daniela Rus, diretor do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) e os Professores Andrew e Erna Viterbi de Engenharia Elétrica e Ciência da Computação. "O grande sonho é fornecer uma espécie de 'visão de raio-X' para veículos que se movem rapidamente nas ruas".

Atualmente, o sistema só foi testado em ambientes internos. As velocidades robóticas são muito mais baixas dentro de casa, e as condições de iluminação são mais consistentes, tornando mais fácil para o sistema detectar e analisar sombras.

Juntando-se à Rus no papel estão:primeiro autor Felix Naser SM '19, um ex-pesquisador do CSAIL; Alexander Amini, um aluno de pós-graduação do CSAIL; Igor Gilitschenski, um pós-doutorado em CSAIL; recém-formada Christina Liao '19; Guy Rosman, do Toyota Research Institute; e Sertac Karaman, professor associado de aeronáutica e astronáutica no MIT.

Estendendo ShadowCam

Por seu trabalho, os pesquisadores construíram em seu sistema, chamado "ShadowCam, "que usa técnicas de visão computacional para detectar e classificar as mudanças nas sombras no solo. Os professores do MIT, William Freeman e Antonio Torralba, que não são co-autores do artigo IROS, colaborou nas versões anteriores do sistema, que foram apresentados em conferências em 2017 e 2018.

Para entrada, ShadowCam usa sequências de quadros de vídeo de uma câmera visando uma área específica, como o chão na frente de um canto. Ele detecta mudanças na intensidade da luz ao longo do tempo, de imagem para imagem, isso pode indicar algo se afastando ou se aproximando. Algumas dessas mudanças podem ser difíceis de detectar ou invisíveis a olho nu, e pode ser determinado por várias propriedades do objeto e do ambiente. ShadowCam calcula essas informações e classifica cada imagem como contendo um objeto estacionário ou dinâmico, movendo um. Se chegar a uma imagem dinâmica, ele reage de acordo.

A adaptação do ShadowCam para veículos autônomos exigiu alguns avanços. A versão inicial, por exemplo, contava com o revestimento de uma área com rótulos de realidade aumentada chamados "AprilTags, "que se assemelham a códigos QR simplificados. Os robôs fazem a varredura de AprilTags para detectar e calcular sua posição e orientação 3-D precisas em relação à tag. ShadowCam usou as tags como recursos do ambiente para se concentrar em partes específicas de pixels que podem conter sombras. Mas modificar ambientes do mundo real com AprilTags não é prático.

Os pesquisadores desenvolveram um novo processo que combina registro de imagem e uma nova técnica de odometria visual. Freqüentemente usado em visão computacional, o registro de imagem basicamente sobrepõe várias imagens para revelar variações nas imagens. Registro de imagens médicas, por exemplo, sobrepõe exames médicos para comparar e analisar diferenças anatômicas.

Odometria visual, usado para Mars Rovers, estima o movimento de uma câmera em tempo real, analisando a pose e a geometria em sequências de imagens. Os pesquisadores empregam especificamente "Direct Sparse Odometry" (DSO), que pode calcular pontos de recurso em ambientes semelhantes aos capturados por AprilTags. Essencialmente, DSO plota recursos de um ambiente em uma nuvem de pontos 3-D, e, em seguida, um pipeline de visão computacional seleciona apenas os recursos localizados em uma região de interesse, como o chão perto de um canto. (As regiões de interesse foram anotadas manualmente com antecedência.)

Como ShadowCam pega sequências de imagens de entrada de uma região de interesse, ele usa o método de registro de imagem DSO para sobrepor todas as imagens do mesmo ponto de vista do robô. Mesmo quando um robô está se movendo, ele é capaz de se concentrar exatamente no mesmo pedaço de pixels onde uma sombra está localizada para ajudá-lo a detectar quaisquer desvios sutis entre as imagens.

A seguir vem a amplificação do sinal, uma técnica introduzida no primeiro artigo. Os pixels que podem conter sombras obtêm um aumento na cor que reduz a relação sinal-ruído. Isso torna os sinais extremamente fracos das mudanças de sombra muito mais detectáveis. Se o sinal reforçado atingir um certo limite - com base em parte no quanto ele se desvia de outras sombras próximas - o ShadowCam classifica a imagem como "dinâmica". Dependendo da força desse sinal, o sistema pode dizer ao robô para diminuir a velocidade ou parar.

"Ao detectar esse sinal, então você pode ter cuidado. Pode ser a sombra de uma pessoa correndo atrás da esquina ou de um carro estacionado, para que o carro autônomo possa desacelerar ou parar completamente, "Naser diz.

Teste sem tag

Em um teste, os pesquisadores avaliaram o desempenho do sistema na classificação de objetos em movimento ou estacionários usando AprilTags e o novo método baseado em DSO. Uma cadeira de rodas autônoma dirigiu em direção a vários cantos do corredor enquanto os humanos dobraram a esquina no caminho da cadeira de rodas. Ambos os métodos alcançaram a mesma precisão de classificação de 70 por cento, indicando AprilTags não são mais necessários.

Em um teste separado, os pesquisadores implementaram ShadowCam em um carro autônomo em uma garagem, onde os faróis foram desligados, imitando as condições de direção noturnas. Eles compararam os tempos de detecção do carro com o LiDAR. Em um cenário de exemplo, ShadowCam detectou o carro girando em torno de pilares cerca de 0,72 segundos mais rápido do que LiDAR. Além disso, porque os pesquisadores ajustaram o ShadowCam especificamente para as condições de iluminação da garagem, o sistema alcançou uma precisão de classificação de cerca de 86 por cento.

Próximo, os pesquisadores estão desenvolvendo ainda mais o sistema para funcionar em diferentes condições de iluminação interna e externa. No futuro, também pode haver maneiras de acelerar a detecção de sombra do sistema e automatizar o processo de anotação de áreas-alvo para detecção de sombra.

Esta história foi republicada por cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que cobre notícias sobre pesquisas do MIT, inovação e ensino.