Pouco depois do tiroteio na sinagoga em Pittsburgh, Percebi que a palavra "judeus" estava em alta no Twitter. Como pesquisador e educador de mídia social, Fiquei preocupado com a possibilidade de a violência se espalhar online, como no passado.

A atividade do suposto atirador na sinagoga no site de mídia social Gab chamou a atenção para o papel desse site como uma alternativa cheia de ódio às opções mais convencionais, como Facebook e Twitter. Essas estão entre as plataformas de mídia social que prometeram combater o discurso de ódio e o abuso online em seus sites.

Contudo, enquanto eu explorava a atividade online após as filmagens, rapidamente ficou claro para mim que os problemas não estão apenas em sites como o Gab. Em vez, discurso de ódio ainda é fácil de encontrar nos principais sites de mídia social, incluindo o Twitter. Também identifiquei algumas etapas adicionais que a empresa poderia realizar.

Respostas incompletas a novos termos de ódio

Eu esperava que novas ameaças aparecessem online em torno do tiroteio em Pittsburgh, e havia sinais de que estava acontecendo. Em um recente ataque anti-semita, O líder da nação islâmica, Louis Farrakhan, usou a palavra "cupim" para descrever o povo judeu. Eu pesquisei este termo, saber que os racistas provavelmente usariam a nova injúria como uma palavra-código para evitar a detecção ao expressar anti-semitismo.

O Twitter não suspendeu a conta de Farrakhan após mais uma de suas declarações anti-semitas, e a função de busca do Twitter sugeriu automaticamente que eu poderia estar procurando a frase "cupim come bullets". Isso transforma a caixa de busca do Twitter em um outdoor de discurso de ódio.

A empresa tinha, Contudo, aparentemente ajustou alguns de seus algoritmos internos, porque nenhum tweet com usos anti-semitas da palavra "cupim" apareceu em meus resultados de pesquisa.

Postagens despercebidas por anos

Enquanto eu continuava minhas pesquisas por discurso de ódio e apelos à violência contra o povo judeu, Encontrei evidências ainda mais perturbadoras de deficiências no sistema de moderação de conteúdo do Twitter. Na esteira da eleição de 2016 nos EUA e a descoberta de que o Twitter estava sendo usado para influenciar a eleição, a empresa disse que está investindo em aprendizado de máquina para "detectar e mitigar o efeito de falsificações nos usuários, coordenado, e atividade de conta automatizada. "Com base no que descobri, esses sistemas não identificaram nem mesmo muito simples, ameaças violentas claras e diretas e discurso de ódio que estão em seu site há anos.

Quando relatei um tweet postado em 2014 que defendia matar judeus "por diversão, "O Twitter o retirou do ar no mesmo dia - mas seu aviso automatizado padrão do Twitter não explicava por que ele havia sido deixado intocado por mais de quatro anos.

O ódio brinca com o sistema

Quando eu revisei tweets odiosos que não foram pegos depois de todos aqueles anos, Percebi que muitos não continham texto - o tweet era apenas uma imagem. Sem texto, os tweets são mais difíceis para os usuários, e os próprios algoritmos de identificação de ódio do Twitter, encontrar. Mas os usuários que procuram especificamente por discurso de ódio no Twitter podem então percorrer a atividade das contas que encontram, ver mensagens ainda mais odiosas.

O Twitter parece estar ciente deste problema:os usuários que relatam um tweet são solicitados a revisar alguns outros tweets da mesma conta e enviá-los ao mesmo tempo. Isso acaba sujeitando mais algum conteúdo para revisão, mas ainda deixa espaço para alguns passarem despercebidos.

Ajuda para gigantes da tecnologia em dificuldades

Ao encontrar tweets que achei que violavam as políticas do Twitter, Eu os denunciei. A maioria deles foi removida rapidamente, mesmo dentro de uma hora. Mas algumas postagens obviamente ofensivas levaram vários dias para serem publicadas. Ainda existem alguns tweets baseados em texto que não foram removidos, apesar de violar claramente as políticas do Twitter. Isso mostra que o processo de revisão de conteúdo da empresa não é consistente.

Pode parecer que o Twitter está ficando melhor na remoção de conteúdo prejudicial e que está retirando muito conteúdo e memes e suspendendo contas, mas muitas dessas atividades não estão relacionadas ao discurso de ódio. Em vez, muito da atenção do Twitter tem estado no que a empresa chama de "manipulação coordenada, "como bots e redes de perfis falsos administrados por unidades de propaganda do governo.

Na minha opinião, a empresa poderia dar um passo significativo para solicitar a ajuda do público, bem como pesquisadores e especialistas como meus colegas e eu, para identificar conteúdo de incitação ao ódio. É comum que empresas de tecnologia - incluindo o Twitter - ofereçam pagamentos a pessoas que relatam vulnerabilidades de segurança em seus softwares. Contudo, tudo o que a empresa faz para os usuários que relatam conteúdo problemático é enviar uma mensagem gerada automaticamente dizendo "obrigado". A disparidade em como o Twitter trata problemas de código e relatórios de conteúdo transmite a mensagem de que a empresa prioriza sua tecnologia em relação à comunidade.

Em vez de, O Twitter pode pagar as pessoas por denunciarem conteúdo que viole as diretrizes da comunidade, oferecendo recompensas financeiras para eliminar as vulnerabilidades sociais em seu sistema, como se esses usuários estivessem ajudando a identificar problemas de software ou hardware. Um executivo do Facebook expressou preocupação de que essa solução potencial pudesse sair pela culatra e gerar mais ódio online, mas acredito que o programa de recompensas poderia ser estruturado e projetado de forma a evitar esse problema.

Muito mais a ser feito

Existem outros problemas com o Twitter que vão além do que é postado diretamente em seu próprio site. Pessoas que postam incitação ao ódio geralmente tiram vantagem de um recurso importante do Twitter:a capacidade dos tweets de incluir links para outro conteúdo da Internet. Essa função é fundamental para como as pessoas usam o Twitter, compartilhar conteúdo de interesse mútuo em toda a web. Mas também é um método de distribuição de discurso de ódio.

Por exemplo, um tweet pode parecer totalmente inocente, dizendo "Isso é engraçado" e fornecendo um link. Mas o link - para conteúdo não postado nos servidores do Twitter - traz uma mensagem cheia de ódio.

Além disso, O sistema de moderação de conteúdo do Twitter permite apenas que os usuários relatem tweets ameaçadores e de ódio - mas não contas cujos próprios perfis contenham mensagens semelhantes. Algumas dessas contas - incluindo aquelas com fotos de perfil de Adolf Hitler, e nomes e identificadores do Twitter que defendem a queima de judeus - nem mesmo poste tweets ou siga outros usuários do Twitter. Às vezes, eles simplesmente existem para serem encontrados quando as pessoas procuram por palavras em seus perfis, novamente transformando a caixa de busca do Twitter em um sistema de entrega. Essas contas também podem - embora seja impossível saber - ser usadas para se comunicar com outras pessoas no Twitter por meio de mensagem direta, usando a plataforma como um canal de comunicação secreto.

Sem tweets ou outras atividades públicas, é impossível para os usuários relatar essas contas por meio do sistema de relatório de conteúdo padrão. Mas eles são tão ofensivos e prejudiciais - e precisam ser avaliados e moderados como qualquer outro conteúdo do site. À medida que as pessoas que procuram espalhar o ódio se tornam cada vez mais sofisticadas, As diretrizes da comunidade do Twitter - mas, mais importante ainda, seus esforços de aplicação - precisam ser atualizadas, e mantenha-se atualizado.

Se os sites de mídia social quiserem evitar se tornar - ou permanecer - vetores para a guerra de informação e pragas de idéias e memes odiosos, eles precisam intensificar muito mais ativamente e, pelo menos, faça com que seus milhares de funcionários de moderação de conteúdo em tempo integral pesquisem como um professor fazia durante um fim de semana.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.