As mídias sociais nos permitiram conectar uns com os outros como nunca antes. Mas veio com um preço – entregou um megafone para todos, incluindo terroristas, abusadores de crianças e grupos de ódio. As instituições da UE chegaram recentemente a um acordo sobre a Lei de Serviços Digitais (DSA), que visa "garantir que o que é ilegal offline seja tratado como ilegal online".
O governo do Reino Unido também tem uma lei de segurança online em andamento, para aumentar os requisitos para que plataformas digitais retirem material ilegal.

A escala em que as grandes plataformas de mídia social operam – elas podem ter bilhões de usuários em todo o mundo – apresenta um grande desafio no policiamento de conteúdo ilegal. O que é ilegal em um país pode ser expressão legal e protegida em outro. Por exemplo, regras sobre criticar o governo ou membros de uma família real.

Isso fica complicado quando um usuário publica de um país e a postagem é compartilhada e visualizada em outros países. No Reino Unido, houve até situações em que era legal imprimir algo na primeira página de um jornal na Escócia, mas não na Inglaterra.

A DSA deixa para os estados membros da UE definir conteúdo ilegal em suas próprias leis.

A abordagem do banco de dados

Mesmo onde a lei é clara, por exemplo, alguém postando drogas controladas para venda ou recrutando para grupos terroristas proibidos, a moderação de conteúdo em plataformas de mídia social enfrenta desafios de escala.

Os usuários fazem centenas de milhões de postagens por dia. A automação pode detectar conteúdo ilegal conhecido com base em uma impressão digital difusa do conteúdo do arquivo. Mas isso não funciona sem um banco de dados e o conteúdo deve ser revisado antes de ser adicionado.

Em 2021, a Internet Watch Foundation investigou mais relatórios do que em seus primeiros 15 anos de existência, incluindo 252.000 que continham abuso infantil:um aumento de 64% ano a ano em relação a 2020.

Novos vídeos e imagens não serão capturados por um banco de dados. Embora a inteligência artificial possa tentar procurar novos conteúdos, nem sempre ela dará certo.

Como as plataformas sociais se comparam?

No início de 2020, foi relatado que o Facebook tinha cerca de 15.000 moderadores de conteúdo nos EUA, em comparação com 4.500 em 2017. O TikTok afirmou ter 10.000 pessoas trabalhando em "confiança e segurança" (que é um pouco mais ampla que a moderação de conteúdo), ultimamente 2020. Um relatório da NYU Stern School of Business de 2020 sugeriu que o Twitter tinha cerca de 1.500 moderadores.

O Facebook afirma que, em 2021, 97% do conteúdo sinalizado como discurso de ódio foi removido pela IA, mas não sabemos o que foi perdido, não relatado ou não removido.

A DSA fará com que as maiores redes sociais abram seus dados e informações para pesquisadores independentes, o que deve aumentar a transparência.

Moderadores humanos x tecnologia

Revisar conteúdo violento, perturbador, racista e odioso pode ser traumático para os moderadores e levou a um acordo judicial de US$ 52 milhões (£ 42 milhões). Alguns moderadores de mídia social relatam ter que revisar até 8.000 conteúdos sinalizados por dia.

Embora existam técnicas emergentes baseadas em IA que tentam detectar tipos específicos de conteúdo, as ferramentas baseadas em IA lutam para distinguir entre conteúdo ilegal e desagradável ou potencialmente prejudicial (mas legal). A IA pode sinalizar incorretamente conteúdo inofensivo, perder conteúdo nocivo e aumentar a necessidade de revisão humana.

Os próprios estudos internos do Facebook supostamente encontraram casos em que a ação errada foi tomada contra postagens em até "90% das vezes". Os usuários esperam consistência, mas isso é difícil de entregar em escala, e as decisões dos moderadores são subjetivas. Casos de áreas cinzentas frustrarão até mesmo as diretrizes mais específicas e prescritivas.

Ato de equilíbrio

O desafio também se estende à desinformação. Há uma linha tênue entre proteger a liberdade de expressão e a liberdade de imprensa e impedir a disseminação deliberada de conteúdo falso. Os mesmos fatos muitas vezes podem ser enquadrados de forma diferente, algo bem conhecido por qualquer pessoa familiarizada com a longa história do "spin" na política.

As redes sociais geralmente dependem de usuários que relatam conteúdo prejudicial ou ilegal, e o DSA procura reforçar isso. Mas uma abordagem excessivamente automatizada à moderação pode sinalizar ou até ocultar o conteúdo que atinge um número definido de relatórios. Isso significa que grupos de usuários que desejam suprimir conteúdo ou pontos de vista podem armar a divulgação em massa de conteúdo.

As empresas de mídia social se concentram no crescimento do usuário e no tempo gasto na plataforma. Contanto que o abuso não esteja impedindo nenhum deles, eles provavelmente ganharão mais dinheiro. É por isso que é significativo quando as plataformas tomam movimentos estratégicos (mas potencialmente polarizadores) – como remover o ex-presidente dos EUA, Donald Trump, do Twitter.

A maioria das solicitações feitas pela DSA são razoáveis ​​em si mesmas, mas serão difíceis de implementar em escala. O aumento do policiamento do conteúdo levará ao aumento do uso da automação, que não pode fazer avaliações subjetivas do contexto. As apelações podem ser muito lentas para oferecer um recurso significativo se um usuário receber um banimento automático por engano.

Se as penalidades legais por ter a moderação de conteúdo errada forem altas o suficiente para as redes sociais, elas podem se deparar com pouca opção no curto prazo além de limitar com mais cuidado o que os usuários veem. A abordagem do TikTok ao conteúdo escolhido a dedo foi amplamente criticada. Vieses de plataforma e "bolhas de filtro" são uma preocupação real. As bolhas de filtro são criadas onde o conteúdo mostrado a você é selecionado automaticamente por um algoritmo, que tenta adivinhar o que você deseja ver em seguida, com base em dados como o que você visualizou anteriormente. Os usuários às vezes acusam as empresas de mídia social de viés de plataforma ou moderação injusta.

Existe uma maneira de moderar um megafone global? Eu diria que a evidência aponta para não, pelo menos não em escala. Provavelmente veremos a resposta por meio da aplicação da DSA no tribunal.