Com um dos cônjuges estudando a evolução da inteligência artificial e natural e o outro pesquisando a linguagem, cultura e história da Alemanha, imagine as discussões em nossa mesa de jantar. Muitas vezes experimentamos o choque estereotipado nas visões entre o quantificável, abordagem baseada na medição das ciências naturais e a abordagem mais qualitativa das humanidades, onde o mais importante é como as pessoas sentem algo, ou como eles experimentam ou interpretam isso.

Decidimos fazer uma pausa nesse padrão, para ver o quanto cada abordagem pode ajudar a outra. Especificamente, queríamos ver se aspectos da inteligência artificial poderiam revelar novas maneiras de interpretar uma história em quadrinhos de não ficção sobre o Holocausto. Acabamos descobrindo que algumas tecnologias de IA ainda não são avançadas e robustas o suficiente para fornecer percepções úteis - mas métodos mais simples resultaram em medições quantificáveis ​​que mostraram uma nova oportunidade de interpretação.

Escolhendo um texto

Há muitas pesquisas disponíveis que analisam grandes corpos de texto, então escolhemos algo mais complexo para nossa análise de IA:"The Boxer, de Reinhard Kleist, "uma história em quadrinhos baseada na história real de como Hertzko" Harry "Haft sobreviveu aos campos de extermínio nazistas. Queríamos identificar as emoções nas expressões faciais do personagem principal exibidas nas ilustrações do livro, para descobrir se isso nos daria uma nova lente para entender a história.

Neste desenho animado em preto e branco, Haft conta sua história horrível, em que ele e outros prisioneiros de campos de concentração foram obrigados a boxear uns aos outros até a morte. A história é escrita da perspectiva de Haft; intercalados ao longo da narrativa são painéis de flashbacks que retratam as memórias de Haft de eventos pessoais importantes.

A abordagem das humanidades seria analisar e contextualizar elementos da história, ou o conto como um todo. A história em quadrinhos de Kleist é uma reinterpretação de um romance biográfico de 2009, do filho de Haft, Allan, com base no que Allan sabia sobre as experiências de seu pai. Analisar esse conjunto complexo de interpretações e entendimentos dos autores pode servir apenas para adicionar outra camada subjetiva em cima das existentes.

Da perspectiva da filosofia da ciência, esse nível de análise só tornaria as coisas mais complicadas. Os estudiosos podem ter interpretações diferentes, mas mesmo que todos concordassem, eles ainda não saberiam se seu insight era objetivamente verdadeiro ou se todos sofriam da mesma ilusão. Resolver o dilema exigiria um experimento com o objetivo de gerar uma medida que outros pudessem reproduzir independentemente.

Interpretação reproduzível de imagens?

Em vez de interpretar as imagens por nós mesmos, sujeitando-os aos nossos próprios preconceitos e preconceitos, esperávamos que a IA pudesse trazer uma visão mais objetiva. Começamos examinando todos os painéis do livro. Em seguida, executamos a visão AI do Google e o reconhecimento de rosto e anotação de caráter emocional do Microsoft AZURE também.

Os algoritmos que usamos para analisar "The Boxer" foram previamente treinados pelo Google ou Microsoft em centenas de milhares de imagens já rotuladas com descrições do que representam. Nesta fase de treinamento, os sistemas de IA foram solicitados a identificar o que as imagens mostravam, e essas respostas foram comparadas com as descrições existentes para ver se o sistema sendo treinado estava certo ou errado. O sistema de treinamento fortaleceu os elementos das redes neurais profundas subjacentes que produziram respostas corretas, e enfraqueceu as partes que contribuíram para respostas erradas. Tanto o método quanto os materiais de treinamento - as imagens e anotações - são cruciais para o desempenho do sistema.

Então, liberamos a IA nas imagens do livro. Assim como em "Family Feud, "onde os produtores do programa fazem uma pergunta a 100 estranhos e contam quantos escolhem cada resposta potencial, nosso método pede a uma IA para determinar que emoção um rosto está mostrando. Essa abordagem adiciona um elemento-chave que muitas vezes falta na interpretação subjetiva do conteúdo:reprodutibilidade. Qualquer pesquisador que quiser verificar pode executar o algoritmo novamente e obter os mesmos resultados que obtivemos.

Infelizmente, descobrimos que essas ferramentas de IA são otimizadas para fotografias digitais, não digitalizações de desenhos em preto e branco. Isso significa que não obtivemos muitos dados confiáveis ​​sobre as emoções nas fotos. Também ficamos perturbados ao descobrir que nenhum dos algoritmos identificou qualquer uma das imagens como relacionada ao Holocausto ou aos campos de concentração - embora os observadores humanos identificassem prontamente esses temas. Esperançosamente, isso ocorre porque os AIs tiveram problemas com as próprias imagens em preto e branco, e não por negligência ou preconceito em seus conjuntos de treinamento ou anotações.

O viés é um fenômeno conhecido no aprendizado de máquina, o que pode ter resultados realmente ofensivos. Uma análise dessas imagens com base apenas nos dados que obtivemos não teria discutido ou reconhecido o Holocausto, uma omissão que é contra a lei na Alemanha, entre outros países. Essas falhas destacam a importância de avaliar criticamente as novas tecnologias antes de usá-las mais amplamente.

Encontrar outros resultados reproduzíveis

Determinado a encontrar uma forma alternativa de abordagens quantitativas para ajudar as humanidades, acabamos analisando o brilho das fotos, comparando cenas de flashback com outros momentos da vida de Haft. Para esse fim, quantificamos o brilho das imagens digitalizadas usando um software de análise de imagem.

Descobrimos que ao longo do livro, fases emocionalmente felizes e leves, como sua fuga da prisão ou a vida de Haft no pós-guerra nos EUA, são mostradas em imagens brilhantes. Fases traumatizantes e tristes, como suas experiências no campo de concentração, são mostrados como imagens escuras. Isso se alinha com as identificações da psicologia da cor do branco como um tom puro e feliz, e o preto simbolizando tristeza e pesar.

Tendo estabelecido uma compreensão geral de como o brilho é usado nas imagens do livro, olhamos mais de perto as cenas de flashback. Todos eles retrataram eventos emocionalmente intensos, e alguns deles eram escuros, tais como lembranças de cremar outros prisioneiros de campos de concentração e deixar o amor de sua vida.

Nós ficamos surpresos, Contudo, descobrir que os flashbacks mostrando Haft prestes a socar oponentes até a morte eram brilhantes e claros - sugerindo que ele está tendo uma emoção positiva sobre o encontro fatal que se aproxima. Isso é exatamente o oposto do que leitores como nós provavelmente sentem ao acompanhar a história, talvez vendo o oponente de Haft como fraco e percebendo que ele está prestes a ser morto. Quando o leitor sente pena e empatia, por que Haft está se sentindo positivo?

Essa contradição, encontrado medindo o brilho das imagens, pode revelar uma visão mais profunda de como os campos de extermínio nazistas afetaram Haft emocionalmente. Para nós, agora mesmo, é inimaginável como a perspectiva de espancar outra pessoa até a morte em uma luta de boxe seria positiva. Mas talvez Haft estivesse em uma situação tão desesperadora que visse esperança de sobrevivência ao enfrentar um oponente que estava ainda mais faminto do que ele.

O uso de ferramentas de IA para analisar esta obra literária lançou uma nova luz sobre os principais elementos de emoção e memória do livro - mas não substituíram as habilidades de um especialista ou estudioso na interpretação de textos ou imagens. Como resultado de nosso experimento, pensamos que a IA e outros métodos computacionais apresentam uma oportunidade interessante com potencial para formas mais quantificáveis, pesquisa reproduzível e talvez objetiva nas ciências humanas.

Será um desafio encontrar maneiras de usar a IA de forma adequada nas ciências humanas - e ainda mais porque os sistemas de IA atuais ainda não são sofisticados o suficiente para funcionar de forma confiável em todos os contextos. Os estudiosos também devem estar atentos a possíveis vieses nessas ferramentas. Se o objetivo final da pesquisa de IA é desenvolver máquinas que rivalizem com a cognição humana, sistemas de inteligência artificial podem precisar não apenas se comportar como pessoas, mas entenda e interprete sentimentos como pessoas, também.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.