Imagine uma equipe de médicos usando uma rede neural para detectar câncer em imagens de mamografia. Mesmo que esse modelo de aprendizado de máquina pareça ter um bom desempenho, ele pode estar se concentrando em recursos de imagem que são acidentalmente correlacionados com tumores, como uma marca d'água ou carimbo de data/hora, em vez de sinais reais de tumores.
Para testar esses modelos, os pesquisadores usam "métodos de atribuição de recursos", técnicas que deveriam dizer a eles quais partes da imagem são as mais importantes para a previsão da rede neural. Mas e se o método de atribuição perder recursos importantes para o modelo? Como os pesquisadores não sabem quais recursos são importantes para começar, eles não têm como saber que seu método de avaliação não é eficaz.

Para ajudar a resolver esse problema, os pesquisadores do MIT criaram um processo para modificar os dados originais para que tenham certeza de quais recursos são realmente importantes para o modelo. Em seguida, eles usam esse conjunto de dados modificado para avaliar se os métodos de atribuição de recursos podem identificar corretamente esses recursos importantes.

Eles descobrem que mesmo os métodos mais populares muitas vezes perdem os recursos importantes em uma imagem, e alguns métodos mal conseguem ter um desempenho tão bom quanto uma linha de base aleatória. Isso pode ter grandes implicações, especialmente se as redes neurais forem aplicadas em situações de alto risco, como diagnósticos médicos. Se a rede não estiver funcionando corretamente e as tentativas de detectar tais anomalias também não estiverem funcionando corretamente, os especialistas humanos podem não ter ideia de que estão sendo enganados pelo modelo defeituoso, explica o principal autor Yilun Zhou, estudante de graduação em engenharia elétrica e ciência da computação. no Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL).

"Todos esses métodos são amplamente usados, especialmente em alguns cenários realmente de alto risco, como detectar câncer a partir de raios-X ou tomografia computadorizada. Mas esses métodos de atribuição de recursos podem estar errados em primeiro lugar. Eles podem destacar algo que não funciona. t correspondem ao recurso real que o modelo está usando para fazer uma previsão, o que costuma ser o caso. Se você quiser usar esses métodos de atribuição de recursos para justificar que um modelo está funcionando corretamente, é melhor garantir a atribuição do recurso método em si está funcionando corretamente em primeiro lugar", diz ele.

Zhou escreveu o artigo com a colega de pós-graduação do EECS Serena Booth, o pesquisador da Microsoft Research Marco Tulio Ribeiro e a autora sênior Julie Shah, professora de aeronáutica e astronáutica do MIT e diretora do Interactive Robotics Group no CSAIL.

Foco nos recursos

Na classificação de imagens, cada pixel em uma imagem é um recurso que a rede neural pode usar para fazer previsões, portanto, existem literalmente milhões de recursos possíveis nos quais ela pode se concentrar. Se os pesquisadores quiserem projetar um algoritmo para ajudar aspirantes a fotógrafos a melhorar, por exemplo, eles podem treinar um modelo para distinguir fotos tiradas por fotógrafos profissionais daquelas tiradas por turistas casuais. Esse modelo pode ser usado para avaliar o quanto as fotos amadoras se assemelham às profissionais e até fornecer feedback específico sobre melhorias. Os pesquisadores gostariam que esse modelo se concentrasse na identificação de elementos artísticos em fotos profissionais durante o treinamento, como espaço de cores, composição e pós-processamento. Mas acontece que uma foto tirada profissionalmente provavelmente contém uma marca d'água do nome do fotógrafo, enquanto poucas fotos de turistas a têm, então o modelo pode simplesmente pegar o atalho para encontrar a marca d'água.

"Obviamente, não queremos dizer aos aspirantes a fotógrafos que uma marca d'água é tudo o que você precisa para uma carreira de sucesso, por isso queremos garantir que nosso modelo se concentre nos recursos artísticos em vez da presença da marca d'água. É tentador usar recursos métodos de atribuição para analisar nosso modelo, mas no final das contas, não há garantia de que eles funcionem corretamente, pois o modelo pode usar recursos artísticos, marca d'água ou quaisquer outros recursos", diz Zhou.

"Não sabemos quais são essas correlações espúrias no conjunto de dados. Pode haver tantas coisas diferentes que podem ser completamente imperceptíveis para uma pessoa, como a resolução de uma imagem", acrescenta Booth. "Mesmo que não seja perceptível para nós, uma rede neural provavelmente pode extrair esses recursos e usá-los para classificar. Esse é o problema subjacente. Não entendemos bem nossos conjuntos de dados, mas também é impossível entender nossos conjuntos de dados tão bem."

Os pesquisadores modificaram o conjunto de dados para enfraquecer todas as correlações entre a imagem original e os rótulos de dados, o que garante que nenhum dos recursos originais será mais importante.

Em seguida, eles adicionam um novo recurso à imagem que é tão óbvio que a rede neural precisa se concentrar nele para fazer sua previsão, como retângulos brilhantes de cores diferentes para diferentes classes de imagem.

"Podemos afirmar com segurança que qualquer modelo que alcance uma confiança realmente alta deve se concentrar naquele retângulo colorido que colocamos. Então podemos ver se todos esses métodos de atribuição de recursos se apressam para destacar esse local em vez de todo o resto", diz Zhou.

Resultados "especialmente alarmantes"

Eles aplicaram essa técnica a vários métodos diferentes de atribuição de recursos. Para classificações de imagens, esses métodos produzem o que é conhecido como mapa de saliência, que mostra a concentração de características importantes espalhadas por toda a imagem. Por exemplo, se a rede neural estiver classificando imagens de pássaros, o mapa de saliência pode mostrar que 80% das características importantes estão concentradas ao redor do bico do pássaro.

Depois de remover todas as correlações nos dados da imagem, eles manipularam as fotos de várias maneiras, como desfocar partes da imagem, ajustar o brilho ou adicionar uma marca d'água. Se o método de atribuição de recursos estiver funcionando corretamente, quase 100% dos recursos importantes devem estar localizados ao redor da área que os pesquisadores manipularam.

Os resultados não foram animadores. Nenhum dos métodos de atribuição de recursos chegou perto da meta de 100%, a maioria mal atingiu um nível de linha de base aleatório de 50% e alguns até tiveram desempenho pior do que a linha de base em alguns casos. Portanto, mesmo que o novo recurso seja o único que o modelo possa usar para fazer uma previsão, os métodos de atribuição de recursos às vezes não conseguem captá-lo.

"Nenhum desses métodos parece ser muito confiável, em todos os diferentes tipos de correlações espúrias. Isso é especialmente alarmante porque, em conjuntos de dados naturais, não sabemos qual dessas correlações espúrias pode ser aplicada", diz Zhou. "It could be all sorts of factors. We thought that we could trust these methods to tell us, but in our experiment, it seems really hard to trust them."

All feature-attribution methods they studied were better at detecting an anomaly than the absence of an anomaly. In other words, these methods could find a watermark more easily than they could identify that an image does not contain a watermark. So, in this case, it would be more difficult for humans to trust a model that gives a negative prediction.

The team's work shows that it is critical to test feature-attribution methods before applying them to a real-world model, especially in high-stakes situations.

"Researchers and practitioners may employ explanation techniques like feature-attribution methods to engender a person's trust in a model, but that trust is not founded unless the explanation technique is first rigorously evaluated," Shah says. "An explanation technique may be used to help calibrate a person's trust in a model, but it is equally important to calibrate a person's trust in the explanations of the model."

Moving forward, the researchers want to use their evaluation procedure to study more subtle or realistic features that could lead to spurious correlations. Another area of work they want to explore is helping humans understand saliency maps so they can make better decisions based on a neural network's predictions.