p Bullying online, o ódio e o incitamento estão em alta, e novas abordagens são necessárias para enfrentá-los. Enquanto o Senado australiano conduz audiências para seu inquérito sobre cyberbullying, deve considerar uma abordagem dupla para combater o problema. p Primeiro, o governo deve seguir o exemplo da Alemanha ao impor penalidades financeiras às principais empresas de mídia social se elas não conseguirem reduzir o volume de conteúdo abusivo em suas plataformas.

p Segundo, devemos desenvolver maneiras de identificar e medir corretamente a quantidade de conteúdo abusivo postado e removido para garantir que as empresas estejam em conformidade.

p Dado o volume de dados nas redes sociais, inteligência artificial (IA) deve fazer parte da mistura de apoio à regulamentação, mas precisamos avaliar suas limitações.

p O impacto nas vítimas

p Em 2015, O advogado australiano Josh Bornstein foi vítima de graves abusos online nas mãos de um homem nos Estados Unidos, que se fez passar por Bornstein e publicou um artigo racista online em seu nome. Posteriormente, Bornstein se viu vítima de uma enxurrada de ódio de todo o mundo.

p O incidente foi muito angustiante para Bornstein, mas o cyberhate também pode ter consequências para a sociedade em geral. Agindo sob o manto do anonimato, o mesmo homem usou outra identidade falsa para se passar por um apoiador do EI, convocando ataques terroristas na Austrália e em outros países ocidentais. Em dezembro, ele foi condenado nos Estados Unidos por acusações de terrorismo.

p Bornstein está agora pedindo a regulamentação das empresas de mídia social pelos governos e remédios legais para permitir a ação das vítimas.

p Alemanha como modelo regulatório

p A nova legislação recentemente introduzida na Alemanha exige que as empresas removam casos claros de discurso de ódio dentro de 24 horas.

p Em resposta, O Facebook empregou 1, 200 funcionários e contratados para processar de forma mais eficaz denúncias de abusos cometidos por usuários alemães. Se a empresa não remover a maior parte desse conteúdo dentro do limite de 24 horas, os reguladores podem impor multas de até € 50 milhões (A $ 79 milhões).

p Essas leis não são perfeitas - meses depois de entrarem em vigor, A Alemanha já está considerando mudanças para evitar que a cautela excessiva por parte das empresas de mídia social tenha um efeito negativo sobre a liberdade de expressão. Mas a abordagem alemã nos dá uma janela de como é uma forte resposta do Estado ao cyberbullying.

p Este é apenas o início de um admirável mundo novo de regulamentação da tecnologia. As leis de intimidação virtual não podem ser aplicadas se não sabemos quanto abuso está sendo postado online, e quanto as plataformas de abuso estão removendo. Precisamos de ferramentas para apoiar isso.

p Empregando inteligência artificial

p No Online Hate Prevention Institute (OHPI), passamos os últimos seis anos lidando com casos específicos - incluindo o de Bornstein - e trabalhando no problema de medição usando crowdsourcing de classe mundial e abordagens de inteligência artificial.

p Outros também estão considerando a identificação e a medição como o próximo passo. O Antisemitism Cyber ​​Monitoring System (ACMS) - uma nova ferramenta para monitorar o anti-semitismo nas redes sociais - está em desenvolvimento pelo Ministério de Assuntos da Diáspora de Israel desde outubro de 2016. Ele será lançado no Fórum Global de 2018 para Combate ao Anti-semitismo em Jerusalém no final deste mês.

p A ferramenta usa análise de texto - uma forma de inteligência artificial - e funciona pesquisando palavras em sites de mídia social, frases e símbolos que foram identificados como indicadores de possível conteúdo anti-semita. A ferramenta então analisa o conteúdo e gera gráficos interativos.

p Abordagens semelhantes foram usadas pelo World Jewish Congress e pelo projeto Conversation AI do Google, mas a abordagem tem eficácia limitada, particularmente quando aplicado a grandes sites de mídia social.

p Os dados de uma avaliação de um mês do ACMS foram liberados antes do lançamento do sistema. Embora o software seja promovido como um grande passo à frente na luta contra o cyberhate, os próprios dados destacam sérias limitações metodológicas e tecnológicas, tornando-os mais uma distração.

p Limitações da tecnologia

p Uma limitação do ACMS é detectar o abuso que usa a linguagem codificada, símbolos e eufemismos cada vez mais favorecidos pela extrema direita.

p Outra é que o ACMS só monitora o conteúdo do Facebook e do Twitter. Youtube, que foi responsável por 41% do anti-semitismo online identificado em um relatório anterior, não está incluído. O sistema automatizado também monitora conteúdo apenas em inglês, Árabe, Francês e alemão.

p Mais preocupante é a afirmação do Ministério de que as cidades que mais produziram conteúdo racista foram Santiago (Chile), Dnipro (Ucrânia), e Bucareste (Romênia). Essas cidades têm idiomas primários que o software não está programado para processar, no entanto, eles superaram de alguma forma as cidades cujos idiomas primários o software processa.

p Uma preocupação especial para a Austrália é um gráfico intitulado Locais de interesse:Nível de anti-semitismo por local, que mostra Brisbane como a cidade de língua inglesa com melhor classificação. Este resultado foi explicado por um esclarecimento posterior, sugerindo que o número é um amálgama de gostos globais, compartilha e retuíta que envolveu o conteúdo postado originalmente de Brisbane. Os dados estão, portanto, sujeitos a um grande grau de aleatoriedade com base no conteúdo que se torna viral.

p Advogados e cientistas de dados devem trabalhar juntos

p Há um lugar para ferramentas de detecção baseadas em IA, mas suas limitações precisam ser compreendidas. A análise de texto pode identificar subconjuntos específicos de ódio online, como suásticas; linguagem relacionada a Hitler, Nazistas, câmaras de gás e fornos; e temas anti-semitas que são proeminentes entre alguns grupos de extrema direita. Mas eles não são uma solução mágica.

p Indo além da identificação, Precisamos de advogados e cientistas de dados para informar nossa abordagem para regulamentar os espaços online. Novas ferramentas de inteligência artificial precisam ser verificadas em relação a outras abordagens, como dados coletados do público. E os especialistas devem revisar os dados para verificar a precisão. Precisamos aproveitar as vantagens das novas tecnologias para apoiar os regimes de regulamentação, ao mesmo tempo em que evitava uma forma de censura-robô fracassada, semelhante aos problemas de dívida-robô que atormentavam o Centrelink.

p A investigação sobre o cyberbullying é uma etapa importante, contanto que facilite as soluções de amanhã, não apenas os problemas de hoje. p Este artigo foi publicado originalmente em The Conversation. Leia o artigo original.