Tweets que se acredita serem escritos por afro-americanos têm muito mais probabilidade de serem marcados como discurso de ódio do que tweets associados a brancos, de acordo com um estudo Cornell analisando cinco coleções de dados do Twitter marcadas para linguagem abusiva.

Todos os cinco conjuntos de dados, compilado por acadêmicos para pesquisa, mostrou preconceito contra usuários do Twitter que se acredita serem afro-americanos. Embora as empresas de mídia social, incluindo o Twitter, provavelmente não usem esses conjuntos de dados para seus próprios sistemas de detecção de discurso de ódio, a consistência dos resultados sugere que viés semelhante pode ser generalizado.

"Achamos consistente, preconceitos raciais sistemáticos e substanciais, "disse Thomas Davidson, doutorando em sociologia e primeiro autor de "Racial Bias in Hate Speech and Abusive Language Datasets, "que foi apresentado na Reunião Anual da Association for Computational Linguistics, 28 de julho a agosto. 2 em Florença, Itália.

"Esses sistemas estão sendo desenvolvidos para identificar a linguagem usada para atingir populações marginalizadas online, "Davidson disse." É extremamente preocupante se os mesmos sistemas estão eles próprios discriminando a população que eles foram projetados para proteger. "

À medida que os gigantes da Internet recorrem cada vez mais à inteligência artificial para sinalizar conteúdo de ódio em meio a milhões de postagens, a preocupação com o viés nos modelos de aprendizado de máquina está aumentando. Como o viés geralmente começa nos dados usados ​​para treinar esses modelos, os pesquisadores procuraram avaliar conjuntos de dados que foram criados para ajudar a compreender e classificar o discurso de ódio.

Para realizar sua análise, eles selecionaram cinco conjuntos de dados - um dos quais Davidson ajudou a desenvolver em Cornell - consistindo em 270, 000 postagens no Twitter. Todos os cinco foram anotados por humanos para sinalizar linguagem abusiva ou discurso de ódio.

Para cada conjunto de dados, os pesquisadores treinaram um modelo de aprendizado de máquina para prever discursos de ódio ou ofensivos.

Eles então usaram um sexto banco de dados de mais de 59 milhões de tweets, combinados com os dados do censo e identificados por localização e palavras associadas a dados demográficos específicos, para prever a probabilidade de um tweet ter sido escrito por alguém de uma determinada raça.

Embora sua análise não pudesse prever de forma conclusiva a raça do autor de um tweet, classificou os tweets em "alinhados em preto" e "alinhados em branco, "refletindo o fato de que eles continham linguagem associada a qualquer uma dessas informações demográficas.

Em todos os cinco casos, os algoritmos classificaram os prováveis ​​tweets afro-americanos como sexismo, discurso de ódio, assédio ou abuso em taxas muito mais altas do que os tweets que se acredita serem escritos por brancos - em alguns casos, mais do que o dobro da freqüência.

Os pesquisadores acreditam que a disparidade tem duas causas:uma amostragem excessiva dos tweets de afro-americanos quando os bancos de dados são criados; e treinamento inadequado para as pessoas que anotam tweets para conteúdo potencialmente odioso.

"Quando nós, como pesquisadores, ou as pessoas que pagamos online para fazer anotações crowdsourced, olhe para esses tweets e tenha que decidir, "Isso é odioso ou não odioso?" podemos ver a linguagem escrita no que os linguistas consideram inglês afro-americano e ser mais propensos a pensar que é algo ofensivo devido aos nossos próprios preconceitos internos, Davidson disse. "Queremos que as pessoas que anotam dados estejam cientes das nuances do discurso online e tenham muito cuidado com o que consideram discurso de ódio".