Com os sistemas de aprendizado de máquina sendo usados ​​para determinar tudo, desde preços de ações a diagnósticos médicos, nunca foi tão importante observar como eles chegam às decisões.

Uma nova abordagem do MIT demonstra que o principal culpado não são apenas os algoritmos em si, mas como os próprios dados são coletados.

"Os cientistas da computação costumam dizer que a maneira de tornar esses sistemas menos tendenciosos é simplesmente projetar algoritmos melhores, "diz a autora principal Irene Chen, um Ph.D. estudante que escreveu o artigo com o professor do MIT David Sontag e o associado de pós-doutorado Fredrik D. Johansson. "Mas os algoritmos são tão bons quanto os dados que estão usando, e nossa pesquisa mostra que muitas vezes você pode fazer uma grande diferença com dados melhores. "

Olhando para exemplos específicos, os pesquisadores foram capazes de identificar as causas potenciais para as diferenças nas precisões e quantificar o impacto individual de cada fator nos dados. Eles então mostraram como mudar a maneira como coletavam dados poderia reduzir cada tipo de viés, mantendo o mesmo nível de precisão preditiva.

"Vemos isso como uma caixa de ferramentas para ajudar os engenheiros de aprendizado de máquina a descobrir quais perguntas fazer sobre seus dados a fim de diagnosticar por que seus sistemas podem estar fazendo previsões injustas, "diz Sontag.

Chen diz que um dos maiores equívocos é que mais dados é sempre melhor. Conseguir mais participantes não ajuda necessariamente, uma vez que extrair exatamente da mesma população, muitas vezes leva aos mesmos subgrupos sendo sub-representados. Até mesmo o popular banco de dados de imagens ImageNet, com seus muitos milhões de imagens, demonstrou ser tendencioso para o hemisfério norte.

De acordo com Sontag, muitas vezes, o principal é sair e obter mais dados desses grupos sub-representados. Por exemplo, a equipe analisou um sistema de previsão de renda e descobriu que era duas vezes mais provável que classificasse erroneamente as funcionárias como de baixa renda e os homens como os de alta renda. Eles descobriram que, se tivessem aumentado o conjunto de dados por um fator de 10, esses erros aconteceriam com 40% menos frequência.

Em outro conjunto de dados, os pesquisadores descobriram que a capacidade de um sistema de prever a mortalidade na unidade de terapia intensiva (UTI) era menos precisa para pacientes asiáticos. As abordagens existentes para reduzir a discriminação basicamente tornariam as previsões não asiáticas menos precisas, o que é problemático quando você está falando sobre configurações como saúde, que podem ser literalmente de vida ou morte.

Chen diz que sua abordagem permite que eles olhem para um conjunto de dados e determinem quantos mais participantes de diferentes populações são necessários para melhorar a precisão do grupo com menor precisão, enquanto ainda preserva a precisão do grupo com maior precisão.

"Podemos traçar curvas de trajetória para ver o que aconteceria se adicionássemos 2, 000 pessoas a mais contra 20, 000, e a partir daí descobrir qual tamanho o conjunto de dados deve ter se quisermos ter o melhor de todos os mundos, "diz Chen." Com uma abordagem mais sutil como esta, hospitais e outras instituições estariam melhor equipados para fazer análises de custo-benefício para ver se seria útil obter mais dados. "

Você também pode tentar obter tipos adicionais de dados de seus participantes existentes. Contudo, isso também não vai melhorar as coisas se os dados extras não forem realmente relevantes, como estatísticas sobre a altura das pessoas para um estudo sobre o QI. A questão então é como identificar quando e para quem você deve coletar mais informações.

Um método é identificar grupos de pacientes com grandes disparidades de precisão. Para pacientes de UTI, um método de agrupamento em texto denominado modelagem de tópico mostrou que pacientes cardíacos e com câncer tinham grandes diferenças raciais na precisão. Essa descoberta pode sugerir que mais testes diagnósticos para pacientes cardíacos ou com câncer podem reduzir as diferenças raciais na precisão.

A equipe apresentará o artigo em dezembro na conferência anual sobre Sistemas de Processamento de Informação Neural (NIPS) em Montreal.