O ataque mortal a duas mesquitas em Christchurch, Nova Zelândia, em que 50 pessoas foram mortas e muitas outras gravemente feridas, foi transmitido ao vivo no Facebook pelo homem acusado de realizá-lo. Em seguida, foi rapidamente compartilhado em plataformas de mídia social.

Versões do vídeo de ataque da transmissão ao vivo permaneceram online por um tempo preocupante. Um relatório do Guardian descobriu que um vídeo ficou no Facebook por seis horas e outro no YouTube por três. Para muitos, a propagação rápida e aparentemente imparável deste vídeo tipifica tudo o que está errado com a mídia social:tóxico, conteúdo cheio de ódio que se torna viral e é visto por milhões.

Mas devemos evitar usar o bode expiatório nas grandes plataformas. Todos eles (Twitter, Facebook, Youtube, Google, Snapchat) estão inscritos no programa # NoPlace4Hate da Comissão Europeia. Eles estão empenhados em remover conteúdo de incitação ao ódio ilegal dentro de 24 horas, um período de tempo que provavelmente diminuirá para apenas uma hora.

Além de qualquer outra coisa, eles estão cientes dos riscos à reputação de serem associados a terrorismo e outros conteúdos prejudiciais (como pornografia, suicídio, pedofilia) e estão dedicando cada vez mais recursos consideráveis ​​para removê-la. Dentro de 24 horas após o ataque de Christchurch, O Facebook proibiu 1,5 milhão de versões do vídeo de ataque - das quais 1,2 milhão parou de ser carregado.

Monitorar conteúdo odioso é sempre difícil e até mesmo os sistemas mais avançados acidentalmente perdem alguns. Mas durante os ataques terroristas, as grandes plataformas enfrentam desafios particularmente significativos. Como a pesquisa mostrou, ataques terroristas precipitam grandes picos de ódio online, ultrapassando os sistemas de relatórios das plataformas. Muitas pessoas que fazem upload e compartilham esse conteúdo também sabem como enganar as plataformas e contornar os cheques existentes.

Então, o que as plataformas podem fazer para derrubar conteúdo extremista e odioso imediatamente após ataques terroristas? Proponho quatro medidas especiais que são necessárias para visar especificamente o influxo de ódio de curto prazo.

1. Ajuste a sensibilidade das ferramentas de detecção de ódio

Todas as ferramentas para detecção de ódio têm uma margem de erro. Os designers têm de decidir com quantos falsos negativos e falsos positivos ficarão satisfeitos. Falsos negativos são pedaços de conteúdo que são permitidos online, embora sejam odiosos, e os falsos positivos são pedaços de conteúdo que são bloqueados, embora não sejam odiosos. Sempre há uma troca entre os dois ao implementar qualquer sistema de detecção de ódio.

A única maneira de realmente garantir que nenhum conteúdo odioso seja colocado online é proibir todo o conteúdo de ser carregado - mas isso seria um erro. É muito melhor ajustar a sensibilidade dos algoritmos para que as pessoas possam compartilhar o conteúdo, mas as plataformas captam muito mais das coisas odiosas.

2. Habilite takedowns mais fáceis

Conteúdo odioso que chega às grandes plataformas, como Twitter e Facebook, pode ser sinalizado pelos usuários. Em seguida, é enviado para revisão manual por um moderador de conteúdo, quem o verifica usando diretrizes predefinidas. A moderação de conteúdo é um negócio fundamentalmente difícil, e as plataformas visam minimizar as avaliações imprecisas. Muitas vezes, isso é usando o "pau":de acordo com alguns jornalistas investigativos, moderadores que trabalham em nome do Facebook correm o risco de perder seus empregos, a menos que mantenham pontuações de precisão de moderação altas.

Durante os ataques, as plataformas podem introduzir procedimentos especiais para que a equipe possa trabalhar rapidamente com o conteúdo, sem medo de uma avaliação de baixo desempenho. Eles também podem introduzir quarentenas temporárias para que o conteúdo seja sinalizado para remoção imediata, mas reexaminado em uma data posterior.

3. Limitar a capacidade dos usuários de compartilhar

Compartilhar é uma parte fundamental da mídia social, e as plataformas encorajam ativamente o compartilhamento em seus sites (o que é crucial para seus modelos de negócios) e entre eles, pois isso significa que nenhum deles perde quando algo se torna viral. Mas o compartilhamento fácil também traz riscos:pesquisas mostram que conteúdo extremo e odioso é importado de sites de nicho de extrema direita e jogado no mercado, onde pode rapidamente se espalhar para grandes públicos. E durante os ataques, isso significa que qualquer coisa que ultrapasse o software de detecção de ódio de uma plataforma pode ser rapidamente compartilhado por todas as plataformas.

As plataformas devem limitar o número de vezes que o conteúdo pode ser compartilhado em seus sites e, potencialmente, proibir compartilhamentos entre sites. Essa tática já foi adotada pelo WhatsApp, que agora limita o número de vezes que o conteúdo pode ser compartilhado a apenas cinco.

4. Crie bancos de dados compartilhados de conteúdo

Todas as grandes plataformas têm diretrizes muito semelhantes sobre o que constitui "ódio" e tentarão derrubar basicamente o mesmo conteúdo após os ataques. A criação de um banco de dados compartilhado de conteúdo odioso garantiria que o conteúdo removido de um site fosse automaticamente banido de outro. Isso não apenas evitaria a duplicação desnecessária, mas permitiria às plataformas dedicar recursos rapidamente ao conteúdo realmente desafiador que é difícil de detectar.

A remoção de conteúdo odioso deve ser vista como um esforço de todo o setor e não um problema que cada plataforma enfrenta individualmente. Bancos de dados compartilhados como este também existem de forma limitada, mas os esforços precisam ser intensamente intensificados e seu escopo ampliado.

A longo prazo, as plataformas precisam continuar investindo em moderação de conteúdo e desenvolvendo sistemas avançados que integram verificações humanas com aprendizado de máquina. Mas também há uma necessidade urgente de medidas especiais para lidar com o afluxo de ódio de curto prazo após ataques terroristas.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.