Kurt Luther, Professor assistente de ciência da computação da Virginia Tech, desenvolveu uma plataforma de software livre que usa crowdsourcing para aumentar significativamente a capacidade dos algoritmos de identificar rostos em fotos.

Por meio da plataforma de software, chamado Photo Sleuth, Lutero procura desvendar os mistérios de quase 4 milhões de fotografias de imagens da era da Guerra Civil que podem existir no registro histórico.

Luther apresentará sua pesquisa em torno da plataforma Photo Sleuth em 19 de março na conferência da Association for Computing Machinery's Intelligent User Interfaces em Los Angeles, Califórnia. Ele também fará uma demonstração do Photo Sleuth na grande inauguração do museu expandido da Guerra Civil Americana, em Richmond, Virgínia, em 4 de maio, 2019.

Luther, um fã de história ele mesmo, teve a inspiração de desenvolver o software para Civil War Photo Sleuth em 2013, enquanto visitava a exposição do Heinz History Center chamada "Pennsylvania's Civil War" em Pittsburgh, Pensilvânia. Lá ele tropeçou em um retrato da época da Guerra Civil de Oliver Croxton, seu tio-tataravô que serviu na Companhia E da 134ª Pensilvânia, vestido com um uniforme de cabo.

"Ver meu parente distante olhando para mim foi como viajar no tempo, "disse Lutero." Fotos históricas podem nos dizer muito sobre não apenas nossa própria história familiar, mas também informam o registro histórico da época de forma mais ampla do que apenas ler sobre o evento em um livro de história. "

O projeto Photo Sleuth da Guerra Civil, financiado principalmente pela National Science Foundation, foi lançado oficialmente como uma plataforma baseada na web nos Arquivos Nacionais em Washington, D.C., em 1º de agosto, 2018, e permite que os usuários façam upload de fotos, marque-os com dicas visuais, e conectá-los a perfis de soldados da Guerra Civil com registros detalhados da história militar. O banco de dados de referência inicial do Photo Sleuth continha mais de 15, 000 retratos de soldados da Guerra Civil identificados de fontes de domínio público, como o Instituto de História Militar dos EUA e outras coleções particulares.

Antes do lançamento oficial do projeto em agosto, a plataforma de software ganhou US $ 25, 000 Microsoft Cloud AI Research Challenge e o prêmio de melhor demonstração na conferência Human Computation and Crowdsourcing 2018 em Zurique, Suíça, para Luther e sua equipe, que inclui colaboradores acadêmicos e históricos, o Virginia Center for Civil War Studies, e a revista Military Images.

De acordo com Luther, a chave para o sucesso pós-lançamento do site tem sido a capacidade de construir uma forte comunidade de usuários. Mais de 600 usuários contribuíram com mais de 2, 000 fotos da Guerra Civil para o site no primeiro mês após o lançamento, e cerca de metade dessas fotos não foram identificadas. Mais de 100 dessas fotos desconhecidas estavam ligadas a soldados específicos, e uma análise de especialista descobriu que mais de 85 por cento dessas identificações propostas estavam provavelmente ou definitivamente corretas. Atualmente, o banco de dados cresceu para mais de 4, 000 usuários registrados e mais de 8, 000 fotos.

"Tipicamente, pesquisas crowdsourced como essa são desafiadoras para novatos se os usuários não têm conhecimento específico da área de assunto, "disse Luther." O processo passo a passo de marcar pistas visuais e aplicar filtros de pesquisa vinculados aos registros do serviço militar torna este trabalho de detetive mais acessível, mesmo para aqueles que podem não ter um conhecimento mais profundo da história militar da Guerra Civil. "

As tarefas de identificação de pessoas podem ser desafiadoras em pools de candidatos maiores porque há um risco maior de falsos positivos. A nova abordagem por trás do Photo Sleuth da Guerra Civil é baseada na analogia de encontrar uma agulha em um palheiro. O pipeline de dados tem três componentes relacionados ao palheiro:construir o palheiro, estreitando o palheiro, e encontrar a agulha no palheiro. Quando combinados, eles permitem que os usuários identifiquem soldados desconhecidos enquanto reduzem o risco de falsos positivos.

Construir o palheiro é feito incentivando os usuários a fazer upload de imagens digitalizadas da frente e de trás das fotos da Guerra Civil. Sempre que um usuário carrega uma foto para identificá-la, a foto é adicionada ao arquivo digital do site ou "palheiro, "tornando-o disponível para pesquisas futuras.

Após o upload, o usuário marca metadados relacionados à fotografia, como formato de foto ou inscrições, bem como pistas visuais, como a cor da pelagem, divisas, alças de ombro, insígnia de colarinho, e a insígnia do chapéu. Essas tags são vinculadas a filtros de pesquisa para priorizar as correspondências mais prováveis. Por exemplo, um soldado marcado com a insígnia do chapéu "chifre de caça" sugeriria combinações potenciais que serviram na infantaria, enquanto esconde os resultados da cavalaria ou artilharia. Próximo, o site usa tecnologia de reconhecimento de rosto de última geração para eliminar rostos de aparência muito diferente e classificar os restantes por semelhança. As etapas de marcação e reconhecimento de rosto reduzem o palheiro.

Finalmente, os usuários encontram a agulha no palheiro explorando as correspondências de maior probabilidade com mais detalhes. Uma ferramenta de comparação com controles de panorâmica e zoom ajuda os usuários a inspecionar cuidadosamente uma possível correspondência e, se eles decidirem que é uma combinação, vincular a foto até então desconhecida à sua nova identidade e detalhes biográficos.

Os registros militares usados ​​pelos filtros vêm de uma miríade de fontes públicas, incluindo o Banco de Dados de Soldados e Marinheiros do Serviço Nacional de Parques.

O rastreamento de fotos históricas da Guerra Civil por meio de um software de reconhecimento facial como o Photo Sleuth tem amplas aplicações além da identificação de fotos históricas, também. O software tem o potencial de gerar novas maneiras de pensar sobre a construção de sistemas de identificação de pessoas que vão além do reconhecimento facial e alavancam as forças complementares da inteligência humana e artificial.