Cerca de uma década atrás, os modelos de aprendizado profundo começaram a obter resultados sobre-humanos em todos os tipos de tarefas, desde vencer jogadores de jogos de tabuleiro campeões mundiais até superar os médicos no diagnóstico de câncer de mama.
Esses poderosos modelos de aprendizado profundo geralmente são baseados em redes neurais artificiais, que foram propostas pela primeira vez na década de 1940 e se tornaram um tipo popular de aprendizado de máquina. Um computador aprende a processar dados usando camadas de nós interconectados, ou neurônios, que imitam o cérebro humano.

À medida que o campo do aprendizado de máquina cresceu, as redes neurais artificiais cresceram junto com ele.

Os modelos de aprendizado profundo agora são compostos de milhões ou bilhões de nós interconectados em muitas camadas que são treinados para executar tarefas de detecção ou classificação usando grandes quantidades de dados. Mas como os modelos são extremamente complexos, mesmo os pesquisadores que os projetam não entendem completamente como eles funcionam. Isso torna difícil saber se eles estão funcionando corretamente.

Por exemplo, talvez um modelo projetado para ajudar os médicos a diagnosticar pacientes tenha previsto corretamente que uma lesão de pele era cancerígena, mas o fez concentrando-se em uma marca não relacionada que ocorre frequentemente quando há tecido canceroso em uma foto, em vez de no tumor canceroso. próprio tecido. Isso é conhecido como uma correlação espúria. O modelo obtém a previsão correta, mas o faz pelo motivo errado. Em um ambiente clínico real, onde a marca não aparece em imagens positivas para câncer, isso pode resultar em diagnósticos errados.

Com tanta incerteza girando em torno desses chamados modelos de "caixa preta", como alguém pode desvendar o que está acontecendo dentro da caixa?

Esse quebra-cabeça levou a uma área de estudo nova e em rápido crescimento na qual os pesquisadores desenvolvem e testam métodos de explicação (também chamados de métodos de interpretabilidade) que buscam esclarecer como os modelos de aprendizado de máquina de caixa preta fazem previsões.

O que são métodos de explicação?

Em seu nível mais básico, os métodos de explicação são globais ou locais. Um método de explicação local se concentra em explicar como o modelo fez uma previsão específica, enquanto as explicações globais procuram descrever o comportamento geral de um modelo inteiro. Isso geralmente é feito desenvolvendo um modelo separado, mais simples (e, esperançosamente, compreensível) que imita o modelo de caixa preta maior.

Mas como os modelos de aprendizado profundo funcionam de maneiras fundamentalmente complexas e não lineares, desenvolver um modelo de explicação global eficaz é particularmente desafiador. Isso levou os pesquisadores a voltar muito de seu foco recente para métodos de explicação local, explica Yilun Zhou, estudante de pós-graduação do Grupo de Robótica Interativa do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) que estuda modelos, algoritmos e avaliações em aprendizado de máquina.

Os tipos mais populares de métodos de explicação local se enquadram em três grandes categorias.

O primeiro e mais utilizado tipo de método de explicação é conhecido como atribuição de características. Os métodos de atribuição de recursos mostram quais recursos foram mais importantes quando o modelo tomou uma decisão específica.

Os recursos são as variáveis ​​de entrada que são alimentadas a um modelo de aprendizado de máquina e usadas em sua previsão. Quando os dados são tabulares, os recursos são extraídos das colunas em um conjunto de dados (eles são transformados usando uma variedade de técnicas para que o modelo possa processar os dados brutos). Para tarefas de processamento de imagem, por outro lado, cada pixel em uma imagem é um recurso. Se um modelo prevê que uma imagem de raio-X mostra câncer, por exemplo, o método de atribuição de recursos destacaria os pixels naquele raio-X específico que foram mais importantes para a previsão do modelo.

Essencialmente, os métodos de atribuição de recursos mostram no que o modelo presta mais atenção quando faz uma previsão.

"Usando essa explicação de atribuição de recursos, você pode verificar se uma correlação espúria é uma preocupação. Por exemplo, ela mostrará se os pixels em uma marca d'água estão destacados ou se os pixels em um tumor real estão destacados", diz Zhou.

Um segundo tipo de método de explicação é conhecido como explicação contrafactual. Dada uma entrada e a previsão de um modelo, esses métodos mostram como alterar essa entrada para que ela caia em outra classe. Por exemplo, se um modelo de aprendizado de máquina prevê que um empréstimo será negado a um mutuário, a explicação contrafactual mostra quais fatores precisam mudar para que seu pedido de empréstimo seja aceito. Talvez sua pontuação de crédito ou renda, ambos os recursos usados ​​na previsão do modelo, precisem ser maiores para que ela seja aprovada.

"O bom desse método de explicação é que ele diz exatamente como você precisa alterar a entrada para inverter a decisão, o que pode ter uso prático. Para alguém que está solicitando uma hipoteca e não a obteve, essa explicação diria o que eles precisam fazer para alcançar o resultado desejado", diz ele.

A terceira categoria de métodos de explicação é conhecida como explicações de importância da amostra. Ao contrário dos outros, este método requer acesso aos dados que foram usados ​​para treinar o modelo.

Uma explicação de importância de amostra mostrará em qual amostra de treinamento um modelo se baseou mais quando fez uma previsão específica; idealmente, esta é a amostra mais semelhante aos dados de entrada. Esse tipo de explicação é particularmente útil se observarmos uma previsão aparentemente irracional. Pode ter ocorrido um erro de entrada de dados que afetou uma amostra específica que foi usada para treinar o modelo. Com esse conhecimento, pode-se corrigir essa amostra e treinar novamente o modelo para melhorar sua precisão.

Como os métodos de explicação são usados?

Uma motivação para desenvolver essas explicações é realizar a garantia de qualidade e depurar o modelo. Com mais compreensão de como os recursos afetam a decisão de um modelo, por exemplo, pode-se identificar que um modelo está funcionando incorretamente e intervir para corrigir o problema, ou jogar fora o modelo e começar de novo.

Outra área de pesquisa mais recente está explorando o uso de modelos de aprendizado de máquina para descobrir padrões científicos que os humanos não descobriram antes. Por exemplo, um modelo de diagnóstico de câncer que supera os médicos pode estar com defeito, ou pode realmente estar captando alguns padrões ocultos em uma imagem de raios-X que representam um caminho patológico inicial para o câncer que era desconhecido para médicos humanos ou pensado para ser irrelevante, diz Zhou.

Ainda é muito cedo para essa área de pesquisa, no entanto.

Palavras de aviso

Embora os métodos de explicação às vezes possam ser úteis para os praticantes de aprendizado de máquina quando estão tentando detectar bugs em seus modelos ou entender o funcionamento interno de um sistema, os usuários finais devem proceder com cautela ao tentar usá-los na prática, diz Marzyeh Ghassemi , professor assistente e chefe do Grupo ML Saudável no CSAIL.

À medida que o aprendizado de máquina foi adotado em mais disciplinas, da saúde à educação, métodos de explicação estão sendo usados ​​para ajudar os tomadores de decisão a entender melhor as previsões de um modelo para que saibam quando confiar no modelo e usar sua orientação na prática. Mas Ghassemi adverte contra o uso desses métodos dessa maneira.

"Descobrimos que as explicações tornam as pessoas, tanto especialistas quanto não especialistas, superconfiantes na capacidade ou no conselho de um sistema de recomendação específico. Acho muito importante que os humanos não desliguem esse circuito interno perguntando 'deixe-me questionar o conselho. que me foi
dado'", diz ela.

Os cientistas sabem que as explicações tornam as pessoas excessivamente confiantes com base em outros trabalhos recentes, acrescenta ela, citando alguns estudos recentes de pesquisadores da Microsoft.

Longe de ser uma bala de prata, os métodos de explicação têm sua parcela de problemas. Por um lado, a pesquisa recente de Ghassemi mostrou que os métodos de explicação podem perpetuar preconceitos e levar a resultados piores para pessoas de grupos desfavorecidos.

Outra armadilha dos métodos de explicação é que muitas vezes é impossível dizer se o método de explicação está correto em primeiro lugar. Seria necessário comparar as explicações com o modelo real, mas como o usuário não sabe como o modelo funciona, isso é uma lógica circular, diz Zhou.

Ele e outros pesquisadores estão trabalhando para melhorar os métodos de explicação para que sejam mais fiéis às previsões do modelo real, mas Zhou adverte que mesmo a melhor explicação deve ser tomada com cautela.

"Além disso, as pessoas geralmente percebem esses modelos como tomadores de decisão semelhantes aos humanos, e somos propensos à generalização excessiva. equilibrado", acrescenta.

A pesquisa mais recente de Zhou procura fazer exatamente isso.

O que vem a seguir para os métodos de explicação de aprendizado de máquina?

Em vez de se concentrar em fornecer explicações, Ghassemi argumenta que mais esforços precisam ser feitos pela comunidade de pesquisa para estudar como a informação é apresentada aos tomadores de decisão para que eles a entendam, e mais regulamentação precisa ser implementada para garantir que os modelos de aprendizado de máquina sejam usado com responsabilidade na prática. Melhores métodos de explicação por si só não são a resposta.

"Fiquei animado ao ver que há muito mais reconhecimento, mesmo na indústria, de que não podemos simplesmente pegar essas informações e fazer um painel bonito e supor que as pessoas terão um desempenho melhor com isso. Você precisa ter melhorias mensuráveis ​​em ação , e espero que isso leve a diretrizes reais sobre como melhorar a maneira como exibimos informações nesses campos profundamente técnicos, como a medicina", diz ela.

E, além de novos trabalhos focados em melhorar as explicações, Zhou espera ver mais pesquisas relacionadas a métodos de explicação para casos de uso específicos, como depuração de modelo, descoberta científica, auditoria de imparcialidade e garantia de segurança. Ao identificar características refinadas dos métodos de explicação e os requisitos de diferentes casos de uso, os pesquisadores poderiam estabelecer uma teoria que combinasse explicações com cenários específicos, o que poderia ajudar a superar algumas das armadilhas que surgem ao usá-los em cenários do mundo real.