Novas ferramentas que podem ser usadas para detectar e combater automaticamente o abuso nas redes sociais, estão sendo desenvolvidos por pesquisadores da Universidade de Sheffield.

A pesquisa, liderado pela Professora Kalina Bontcheva do Departamento de Ciência da Computação da Universidade, está desenvolvendo novos métodos de inteligência artificial (IA) e processamento de linguagem natural (PNL) que podem ser usados ​​para lidar com o abuso e o discurso de ódio online de maneira responsável.

Lançado em colaboração com Wendy Hui Kyong Chun da Simon Fraser University no Canadá, o projeto está analisando métodos de IA que estão sendo usados ​​atualmente para detectar abuso online e discurso de ódio em duas áreas; a indústria de jogos e mensagens dirigidas a políticos nas redes sociais.

Os pesquisadores do estudo pretendem usar suas descobertas para desenvolver novos algoritmos de IA que sejam eficazes, justo e imparcial. Os sistemas serão sensíveis ao contexto e respeitarão as diferenças de idioma dentro das comunidades com base na raça, etnia, gênero e sexualidade.

Os pesquisadores examinarão os preconceitos embutidos nos atuais sistemas de moderação de conteúdo que costumam usar definições ou determinações rígidas de linguagem abusiva. Esses sistemas atuais muitas vezes criam paradoxalmente novas formas de discriminação ou preconceito com base na identidade, incluindo sexo, Gênero sexual, etnia, cultura, religião, filiação política ou outros.

A equipe de pesquisa tem como objetivo abordar esses efeitos, produzindo mais atentos ao contexto, sistemas dinâmicos de detecção.

Além disso, o projeto busca capacitar os usuários, tornando as novas ferramentas de código aberto, para que possam ser incorporados a novas estratégias para lidar democraticamente com o abuso e o discurso de ódio online. Eles também podem ser usados ​​como parte de cuidados baseados na comunidade e medidas de resposta.

A professora Kalina Bontcheva disse:"Houve um grande aumento no nível de abuso e discurso de ódio online nos últimos anos e isso deixou os governos e as plataformas de mídia social lutando para lidar com as consequências.

"Este grande aumento no abuso e discurso de ódio online gerou indignação pública com pessoas exigindo que governos e empresas de mídia social façam mais para enfrentar o problema, mas atualmente não há processos eficazes ou técnicos que possam resolver o problema de maneira responsável ou democrática.

"Estamos desenvolvendo novos métodos de IA e PNL para resolver o problema, ao mesmo tempo em que desenvolvemos um programa substancial de treinamento para acadêmicos e pesquisadores em início de carreira para desenvolver capacidade e especialização nesta área-chave de pesquisa."

O projeto, AI Responsável para Inclusivo, Sociedades democráticas:uma abordagem interdisciplinar para detectar e combater a linguagem abusiva online, é liderado pela University of Sheffield em colaboração com Simon Fraser University. É financiado pelo UK Research and Innovation (UKRI) como um dos 10 projetos UK-Canada para apoiar o desenvolvimento responsável de IA, incluindo a garantia de que todos os membros da sociedade confiam na IA e se beneficiam dela.