Em meados de setembro, a União Europeia ameaçou multar as grandes empresas de tecnologia se elas não removessem o conteúdo terrorista dentro de uma hora após o aparecimento online. A mudança veio porque as tensões crescentes agora estão se desenvolvendo e sendo jogadas nas plataformas de mídia social.

Conflitos sociais que antes cresciam em reuniões de bastidores e atingiam o ápice nas ruas da cidade, agora estão ganhando impulso nas plataformas de mídia social antes de entrarem na vida real. No passado, os governos tendiam a controlar a mídia tradicional, com pouca ou nenhuma possibilidade de os indivíduos difundirem o ódio.

A revolução digital alterou tudo.

Organizações terroristas, mais notavelmente militantes do Estado Islâmico (ISIS), usaram plataformas de mídia social como o Facebook, Instagram e Twitter para suas campanhas de propaganda, e para planejar ataques terroristas contra civis.

Grupos de extrema direita, incluindo extremistas anti-refugiados na Alemanha, também estão explorando cada vez mais as plataformas de tecnologia para defender as visões anti-imigrantes e demonizar as minorias.

Do Sri Lanka a Mianmar, tensões comunais - disparadas online - levaram à violência.

Devido à crescente vontade política nos países ocidentais de regulamentar as empresas de mídia social, muitos titãs da tecnologia estão argumentando que podem se autorregular - e que a inteligência artificial (IA) é uma das principais ferramentas para reduzir o ódio online. Vários anos atrás, criamos o Laboratório de Prevenção de Atrocidade em Massa Digital para trabalhar na melhoria das políticas públicas para conter a exploração de plataformas de tecnologia por extremistas violentos.

Habilidades super-vendidas?

As empresas de tecnologia estão profundamente cientes do uso malicioso de suas plataformas.

Em junho de 2017, Facebook, Microsoft, Twitter e YouTube anunciaram a formação do Global Internet Forum to Counter Terrorism, que visa interromper as atividades extremistas online. No entanto, à medida que aumenta a pressão política para remover conteúdo online prejudicial, essas empresas estão começando a perceber os limites de seus moderadores de conteúdo humano.

Em vez de, eles estão desenvolvendo e implantando cada vez mais tecnologias de IA para automatizar o processo de detecção e remoção de conteúdo indesejado. Mas eles estão fazendo isso sem supervisão e com poucas informações públicas sobre como esses sistemas de IA funcionam, um problema identificado em um relatório recente do Fórum de Políticas Públicas.

Twitter, de acordo com seu relatório de transparência mais recente, afirma que usou IA para derrubar mais de 300, 000 contas relacionadas com terrorismo no primeiro semestre de 2017.

O próprio Facebook reconhece que está lutando para usar a IA de maneira eficiente em questões relacionadas ao discurso de ódio. O CEO Mark Zuckerberg disse aos membros do Congresso dos EUA no início deste ano que a IA ainda luta para lidar com as nuances dos dialetos da linguagem, contexto e se uma declaração é ou não qualificada como discurso de ódio - e isso pode levar anos para ser resolvido.

Contudo, a empresa também afirma ser capaz de remover 99 por cento do conteúdo afiliado do ISIS e da Al Qaeda usando algoritmos alimentados por IA e moderadores de conteúdo humano. Se a IA ou os humanos são a chave para as afirmações de sucesso da empresa, ainda não foi investigado de forma independente.

O fracasso da IA

Em 2017, 250 empresas suspenderam contratos de publicidade com o Google por sua suposta falha em moderar o conteúdo extremista do YouTube. Um ano depois, Vice-presidente sênior de publicidade e comércio do Google, Sridhar Ramaswamy, diz que a empresa está fazendo grandes progressos em segurança de plataforma para recuperar a confiança perdida de seus clientes.

Contudo, um estudo recente da ONG Counter Extremism Project refuta a eficácia dos esforços da empresa para limitar e excluir vídeos extremistas. É necessária mais transparência e responsabilidade do YouTube, dado que o estudo descobriu que mais de 90 por cento dos vídeos do ISIS foram enviados mais de uma vez, sem nenhuma ação tomada contra as contas que violaram os termos de serviço da empresa.

É evidente que não existe um caminho simples a seguir. Remover conteúdo que não seja prejudicial, ofensiva, extremista ou ilegal, mesmo que seja desagradável, é um impedimento à liberdade de expressão. Em alguns casos, o uso de IA para remover conteúdo bloqueou material legítimo postado por defensores dos direitos humanos.

Por exemplo, em 2017, Shah Hossain, um ativista de direitos humanos descobriu que um número significativo de suas postagens no Facebook sobre a perseguição à minoria Rohingya em Mianmar foi excluído. O YouTube também apagou seu canal de notícias, que tinha quase 80, 000 assinantes. Hossain estava documentando abusos de direitos humanos, não esposando o ódio.

Na Síria, onde o jornalismo independente é severamente restringido pela guerra, vídeos e fotos postados online por ativistas são cruciais para entender a situação no país. Em uma tentativa de reprimir o conteúdo extremista, Contudo, Os algoritmos alimentados por IA do YouTube removeram milhares de vídeos de atrocidades contra civis. Os vídeos foram postados como evidência para um eventual processo contra autoridades sírias por crimes contra a humanidade. Isso é bastante preocupante.

Seguindo em frente

Gigantes de mídia social bem conhecidos disseram publicamente que colocarão mais recursos no policiamento de suas plataformas. Contudo, dados os resultados atuais, é hora de considerar se essa abordagem é ética e eficaz.

O Reino Unido, França, Alemanha, a União Europeia e os Estados Unidos, entre outros, começaram a discutir abertamente e implementar medidas regulatórias na indústria de tecnologia, não apenas em relação ao terrorismo e discurso de ódio, mas também interferência eleitoral digital, a propagação de "notícias falsas" e campanhas de desinformação.

O Canadá também começou a levar o problema a sério, formando o Laboratório de Inclusão Digital na Global Affairs Canada, que trabalha para fortalecer os esforços combinados do G7.

Estas são iniciativas muito necessárias. Os grandes gigantes da tecnologia têm exagerado na eficácia da IA ​​no combate ao ódio em suas plataformas. Nossas sociedades democráticas e abertas devem deixar de lado a noção de que a IA é a panaceia para o problema em questão. A polarização social e a crescente desconfiança em todo o planeta continuarão, a menos que as autoridades eleitas regulem a Big Tech.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.