p À medida que o papel da IA ​​na sociedade continua a se expandir, J B Brown, da Graduate School of Medicine, relata um novo método de avaliação para o tipo de IA que prevê respostas sim / positivas / verdadeiras ou não / negativas / falsas. p Papel de Brown, publicado em Informática Molecular , desconstrói a utilização de IA e analisa a natureza das estatísticas usadas para relatar a capacidade de um programa de IA. A nova técnica também gera uma probabilidade do nível de desempenho dado os dados de avaliação, respondendo a perguntas como:Qual é a probabilidade de atingir uma precisão maior que 90%?

p Relatórios de novas aplicações de IA aparecem nas notícias quase diariamente, inclusive na sociedade e na ciência, finança, farmacêuticos, Medicina, e segurança.

p "Embora as estatísticas relatadas pareçam impressionantes, as equipes de pesquisa e aqueles que avaliam os resultados encontram dois problemas, "explica Brown." Primeiro, para entender se a IA alcançou seus resultados por acaso, e em segundo lugar, para interpretar a aplicabilidade das estatísticas de desempenho relatadas. "

p Por exemplo, se um programa de IA é construído para prever se alguém vai ganhar ou não na loteria, pode sempre prever uma perda. O programa pode atingir '99% de precisão', mas a interpretação é a chave para determinar a precisão da conclusão de que o programa é preciso.

p Mas aqui está o problema:no desenvolvimento típico de IA, a avaliação só pode ser confiável se houver um número igual de resultados positivos e negativos. Se os dados forem tendenciosos para qualquer um dos valores, o atual sistema de avaliação irá exagerar a capacidade do sistema.

p Então, para resolver este problema, Brown desenvolveu uma nova técnica que avalia o desempenho com base apenas nos próprios dados de entrada.

p "A novidade dessa técnica é que ela não depende de nenhum tipo de tecnologia de IA, como aprendizado profundo, "Brown descreve." Pode ajudar a desenvolver novas métricas de avaliação, observando como uma métrica interage com o equilíbrio nos dados previstos. Podemos então dizer se as métricas resultantes podem ser tendenciosas. "

p Brown espera que esta análise não apenas aumente a consciência de como pensamos sobre IA no futuro, mas também contribui para o desenvolvimento de plataformas de IA mais robustas.

p Além da métrica de precisão, Brown testou seis outras métricas em cenários teóricos e aplicados, descobrindo que nenhuma métrica única era universalmente superior. Ele diz que a chave para construir plataformas de IA úteis é ter uma visão multimétrica da avaliação.

p "A IA pode nos ajudar a compreender muitos fenômenos no mundo, mas para nos fornecer orientação adequada, devemos saber fazer as perguntas certas. Devemos ter cuidado para não nos concentrar demais em um único número como medida da confiabilidade de uma IA. "

p O programa de Brown está disponível gratuitamente para o público em geral, pesquisadores, e desenvolvedores.