Pesquisadores do MIT e de outros lugares desenvolveram uma ferramenta interativa que, pela primeira vez, permite que os usuários vejam e controlem como funcionam os sistemas automatizados de aprendizado de máquina. O objetivo é criar confiança nesses sistemas e encontrar maneiras de melhorá-los.

Projetar um modelo de aprendizado de máquina para uma determinada tarefa, como classificação de imagem, diagnósticos de doenças, e previsão do mercado de ações - é uma tarefa árdua, processo demorado. Os especialistas primeiro escolhem entre muitos algoritmos diferentes para construir o modelo. Então, eles ajustam manualmente os "hiperparâmetros" - que determinam a estrutura geral do modelo - antes que o modelo comece o treinamento.

Sistemas de aprendizado de máquina automatizado (AutoML) desenvolvidos recentemente testam e modificam iterativamente algoritmos e esses hiperparâmetros, e selecione os modelos mais adequados. Mas os sistemas funcionam como "caixas pretas, "o que significa que suas técnicas de seleção são ocultadas dos usuários. Portanto, os usuários podem não confiar nos resultados e podem achar difícil adaptar os sistemas às suas necessidades de pesquisa.

Em um artigo apresentado na Conferência ACM CHI sobre Fatores Humanos em Sistemas Computacionais, pesquisadores do MIT, a Universidade de Ciência e Tecnologia de Hong Kong (HKUST), e a Universidade de Zhejiang descrevem uma ferramenta que coloca a análise e o controle dos métodos AutoML nas mãos dos usuários. Chamado ATMSeer, a ferramenta leva como entrada um sistema AutoML, um conjunto de dados, e algumas informações sobre a tarefa de um usuário. Então, ele visualiza o processo de pesquisa em uma interface amigável, que apresenta informações detalhadas sobre o desempenho dos modelos.

"Permitimos que os usuários escolham e vejam como os sistemas AutoML funcionam, "diz o co-autor Kalyan Veeramachaneni, um cientista pesquisador principal no Laboratório do MIT para Sistemas de Informação e Decisão (LIDS), quem lidera o grupo de dados para IA. "Você pode simplesmente escolher o modelo de melhor desempenho, ou você pode ter outras considerações ou usar experiência de domínio para orientar o sistema na busca de alguns modelos em detrimento de outros. "

Em estudos de caso com alunos de graduação em ciências, que eram novatos em AutoML, os pesquisadores descobriram que cerca de 85 por cento dos participantes que usaram o ATMSeer estavam confiantes nos modelos selecionados pelo sistema. Quase todos os participantes disseram que usar a ferramenta os deixou confortáveis ​​o suficiente para usar sistemas AutoML no futuro.

"Descobrimos que as pessoas eram mais propensas a usar o AutoML ao abrir essa caixa preta e ver e controlar como o sistema opera, "diz Micah Smith, é pós-graduanda do Departamento de Engenharia Elétrica e Ciência da Computação (EECS) e pesquisadora do LIDS.

"A visualização de dados é uma abordagem eficaz para uma melhor colaboração entre humanos e máquinas. ATMSeer exemplifica essa ideia, "diz o autor principal Qianwen Wang da HKUST." O ATMSeer beneficiará principalmente os praticantes de aprendizado de máquina, independentemente de seu domínio, [quem] tem um certo nível de especialização. Ele pode aliviar a dor de selecionar manualmente algoritmos de aprendizado de máquina e ajustar hiperparâmetros. "

Juntando Smith, Veeramachaneni, e Wang no papel são:Yao Ming, Qiaomu Shen, Dongyu Liu, e Huamin Qu, tudo de HKUST; e Zhihua Jin da Universidade de Zhejiang.

Ajustando o modelo

No centro da nova ferramenta está um sistema AutoML personalizado, chamados de "Modelos Autoajustados" (ATM), desenvolvido por Veeramachaneni e outros pesquisadores em 2017. Ao contrário dos sistemas AutoML tradicionais, O ATM cataloga totalmente todos os resultados da pesquisa enquanto tenta ajustar os modelos aos dados.

O ATM recebe como entrada qualquer conjunto de dados e uma tarefa de previsão codificada. O sistema seleciona aleatoriamente uma classe de algoritmo, como redes neurais, Árvores de decisão, floresta aleatória, e regressão logística - e os hiperparâmetros do modelo, como o tamanho de uma árvore de decisão ou o número de camadas da rede neural.

Então, o sistema executa o modelo no conjunto de dados, ajusta iterativamente os hiperparâmetros, e mede o desempenho. Ele usa o que aprendeu sobre o desempenho desse modelo para selecionar outro modelo, e assim por diante. No fim, o sistema produz vários modelos de alto desempenho para uma tarefa.

O truque é que cada modelo pode ser tratado essencialmente como um ponto de dados com algumas variáveis:algoritmo, hiperparâmetros, e desempenho. Com base nesse trabalho, os pesquisadores projetaram um sistema que plota os pontos de dados e variáveis ​​em gráficos e tabelas designados. De lá, eles desenvolveram uma técnica separada que também permite reconfigurar os dados em tempo real. "O truque é que, com essas ferramentas, qualquer coisa que você possa visualizar, você também pode modificar, "Smith diz.

Ferramentas de visualização semelhantes são adaptadas para analisar apenas um modelo específico de aprendizado de máquina, e permitir personalização limitada do espaço de busca. "Portanto, eles oferecem suporte limitado para o processo AutoML, em que as configurações de muitos modelos pesquisados ​​precisam ser analisadas, "Diz Wang." Em contraste, ATMSeer suporta a análise de modelos de aprendizado de máquina gerados com vários algoritmos. "

Controle e confiança do usuário

A interface do ATMSeer consiste em três partes. Um painel de controle permite que os usuários carreguem conjuntos de dados e um sistema AutoML, e iniciar ou pausar o processo de pesquisa. Abaixo está um painel de visão geral que mostra estatísticas básicas - como o número de algoritmos e hiperparâmetros pesquisados ​​- e uma "tabela de classificação" dos modelos de melhor desempenho em ordem decrescente. "Esta pode ser a vista em que você está mais interessado, se você não for um especialista em mergulhar nos mínimos detalhes, "Veeramachaneni diz.

ATMSeer inclui um "AutoML Profiler, "com painéis contendo informações detalhadas sobre os algoritmos e hiperparâmetros, que podem ser ajustados. Um painel representa todas as classes de algoritmo como histogramas - um gráfico de barras que mostra a distribuição das pontuações de desempenho do algoritmo, em uma escala de 0 a 10, dependendo de seus hiperparâmetros. Um painel separado exibe gráficos de dispersão que visualizam as compensações no desempenho para diferentes hiperparâmetros e classes de algoritmo.

Estudos de caso com especialistas em aprendizado de máquina, que não tinham experiência com AutoML, revelou que o controle do usuário ajuda a melhorar o desempenho e a eficiência da seleção do AutoML. Os estudos de usuários com 13 alunos de pós-graduação em diversos campos científicos - como biologia e finanças - também foram reveladores. Os resultados indicam três fatores principais - número de algoritmos pesquisados, tempo de execução do sistema, e encontrar o modelo de melhor desempenho - determinou como os usuários personalizaram suas pesquisas do AutoML. Essas informações podem ser usadas para adaptar os sistemas aos usuários, dizem os pesquisadores.

"Estamos apenas começando a ver o início das diferentes maneiras como as pessoas usam esses sistemas e fazem seleções, "Veeramachaneni diz." Isso porque agora que essas informações estão todas em um só lugar, e as pessoas podem ver o que está acontecendo nos bastidores e ter o poder de controlá-lo. "

Esta história foi republicada por cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que cobre notícias sobre pesquisas do MIT, inovação e ensino.