Pesquisadores da Carnegie Mellon University desenvolveram um sistema que pode localizar com precisão um atirador com base em gravações de vídeo de apenas três smartphones.

Quando demonstrado usando três gravações de vídeo do tiroteio em massa de 2017 em Las Vegas, que deixou 58 mortos e centenas de feridos, o sistema estimou corretamente a localização real do atirador - a ala norte do hotel Mandalay Bay. A estimativa foi baseada em três tiros disparados no primeiro minuto do que seria um massacre prolongado.

Alexander Hauptmann, professor de pesquisa no Instituto de Tecnologias de Linguagem do CMU, disse o sistema, chamado de Reconstrução e Análise de Evento de Vídeo (VERA), não substituirá necessariamente os arranjos de microfone comerciais para localizar atiradores que os funcionários de segurança pública já usam, embora possa ser um suplemento útil para a segurança pública quando as matrizes comerciais não estiverem disponíveis.

Uma das principais motivações para a montagem do VERA foi a criação de uma ferramenta que pudesse ser usada por profissionais de direitos humanos e jornalistas que investigam crimes de guerra, atos terroristas e violações dos direitos humanos, Hauptmann disse.

"As agências militares e de inteligência já estão desenvolvendo esses tipos de tecnologias, "disse o pesquisador Jay D. Aronson, professora de história do CMU e diretora do Center for Human Rights Science. “Achamos que é crucial para a comunidade de direitos humanos ter os mesmos tipos de ferramentas. Isso fornece uma verificação necessária do poder do Estado”.

Os pesquisadores apresentaram o VERA e o lançaram como código-fonte aberto no mês passado na Conferência Internacional sobre Multimídia da Association for Computing Machinery, em Nice, França.

Hauptmann disse que usou sua experiência em análise de vídeo para ajudar os investigadores a analisar eventos como o massacre de Maidan em 2014 na Ucrânia, que deixou pelo menos 50 manifestantes antigovernamentais mortos. Inspirado por esse trabalho - e pela visão de especialistas em balística e colegas de arquitetura da empresa SITU Research - Hauptmann, Aronson e Junwei Liang, um Ph.D. estudante de linguagem e tecnologia da informação, reuniram várias tecnologias para processamento de vídeo, enquanto automatiza seu uso tanto quanto possível.

VERA usa técnicas de aprendizado de máquina para sincronizar os feeds de vídeo e calcular a posição de cada câmera com base no que a câmera está vendo. Mas é o áudio dos feeds de vídeo que é fundamental para localizar a origem dos tiros, Hauptmann disse. Especificamente, o sistema analisa o intervalo de tempo entre a rachadura causada pela onda de choque de uma bala supersônica e a explosão do cano, que viaja na velocidade do som. Ele também usa áudio para identificar o tipo de arma usada, que determina a velocidade da bala. VERA pode então calcular a distância do atirador do smartphone.

"Quando começamos, não pensamos que você poderia detectar a rachadura com um smartphone porque é muito curto, "Hauptmann disse." Mas parece que os microfones de celular de hoje são muito bons. "

Usando vídeo de três ou mais smartphones, a direção de onde os tiros foram disparados - e a localização do atirador - podem ser calculados com base nas diferenças em quanto tempo leva o disparo da boca para atingir cada câmera.

Com a proliferação de protestos em massa ocorrendo em lugares como Hong Kong, Egito e Iraque, identificar a origem de um tiro pode ser fundamental para determinar se os manifestantes, a polícia ou outros grupos podem ser responsáveis ​​quando um tiroteio ocorre, Disse Aronson.

Mas VERA não se limita a detectar tiros. É um sistema de análise de eventos que pode ser usado para localizar uma variedade de outros sons relevantes para os direitos humanos e investigações de crimes de guerra, ele disse. Ele e Hauptmann esperam que outros grupos adicionem funcionalidades ao software de código aberto.

"Uma vez que é código aberto, o jornalismo e as comunidades de direitos humanos podem desenvolver isso de maneiras para as quais não temos imaginação ou tempo para fazer, "Aronson acrescentou.