Não é difícil imaginar um bot sinalizando a pintura icônica da artista Georgia O'Keeffe "Gray Lines with Black, Azul e amarelo "(retratado aqui na Tate Modern) como conteúdo adulto. Rob Stothard / Getty Images p A plataforma Tumblr decidiu não permitir mais conteúdo adulto. A proibição entra em vigor em 17 de dezembro, 2018, e para aplicá-lo, O Tumblr parece ter implantado um bot que é singularmente ruim em seu trabalho, sinalizando conteúdo inocente como pornográfico por natureza e levando os usuários e especialistas em tecnologia a se perguntar por que o bot é tão ruim no que faz. Parte da resposta é que a moderação com inteligência artificial é uma tarefa extremamente difícil.
p Muitas das sutilezas envolvidas na decisão de qual conteúdo consideramos aceitável ou questionável devem ser escritas em pedra, e nosso histórico de fazer isso não é tão bom. Na verdade, temos dificuldade em identificar algo como pornográfico em primeiro lugar. O falecido juiz da Suprema Corte dos EUA, Potter Stewart, resumiu o sentimento em uma decisão sobre um caso de obscenidade (Jacobellis v. Ohio) com a frase "Eu sei quando vejo".
p Esse sentimento se mostrou tão vago na prática quanto no sentido. Aqui está um exemplo:a imagem de um homem com uma ereção deve ser obscena por natureza, direito? Mas e se isso for uma ilustração médica do priapismo, uma condição frequentemente dolorosa que causa uma ereção prolongada, e aparece em um site médico? Se qualquer representação de uma vulva for obscena, isso significa o trabalho da artista Georgia O'Keeffe, cujas pinturas de flores são frequentemente consideradas metáforas visuais da anatomia feminina, precisa ser sinalizado em artigos de história da arte? p Redes sociais e plataformas de conteúdo encontram essas situações o tempo todo. Por exemplo, em um grande incidente de RP em 2016, O Facebook censurou a foto vencedora do Prêmio Pulitzer de Kim Phuc nua de 9 anos correndo em terror de um ataque de napalm durante a Guerra do Vietnã; a foto foi publicada pelo jornal mais proeminente da Noruega para um artigo relevante sobre a guerra. Por contraste, Os usuários do Twitter não conseguiram persuadir essa plataforma a encerrar contas neonazistas até o final de 2017. Com filosofias diferentes e aparentemente arbitrárias, regras livres de contexto que podem confundir até moderadores humanos, não é de se admirar que os algoritmos estejam tendo problemas para descobrir o que sinalizar. p O sistema do Tumblr parece estar procurando uma quantidade do que vê como pele exposta nas imagens, ou formas que acredita podem ser mamilos ou genitália. Infelizmente, muitos closes benignos de partes não erógenas do corpo humano estão excedendo o limite de quanta carne nua uma imagem mostra, como observou Dan Fallon escrevendo para Digg. Certos objetos, como árvores, também podem parecer fálicos. E em um caso aparentemente inexplicável, Fallon escreveu, as inocentes fotos da natureza de um fotógrafo de paisagens foram marcadas como problemáticas, também. Esse, Contudo, não é incomum para tais algoritmos. Outras iterações de censores-bots sinalizaram imagens de dunas e praias porque a cor da areia era semelhante à cor da pele de acordo com seus conjuntos de dados de treinamento. p Esse erro sistemático também faz sentido quando você considera quantos tons de pele os humanos têm. Cores de um bege claro a quase preto ocorrem naturalmente, e dependendo de como um AI é treinado ou um sensor é calibrado, ele pode não entender que cores de pele mais escuras ainda existem. Como resultado, um algoritmo treinado para detectar e censurar imagens pornográficas com artistas caucasianos pode não ser capaz de sinalizar imagens igualmente explícitas com modelos de pele escura. Uma das soluções fáceis para isso é compensar, sinalize tudo e justifique os falsos positivos como sendo melhores do que não obter conteúdo adulto suficiente, que é o que o Tumblr parece ter feito na luta para higienizar seu conteúdo. O Tumblr não retornou solicitações de comentários sobre se havia uma camada adicional para sua moderação. p Em última análise, resta saber se um algoritmo de censura excessivamente zeloso levará os usuários que não postam conteúdo adulto na plataforma também, ou se ele será discado para baixo. Mas a sinalização exagerada e agressiva do Tumblr destaca algumas das muitas dificuldades em moderar a mídia online. Portanto, os erros continuarão a ser cometidos, e feito com freqüência. Até que possamos descobrir como lidar com essas preocupações, os humanos precisarão supervisionar qualquer esforço de moderação verdadeiramente bem-sucedido. Agora isso é interessante
Até o rabugento Garfield foi banido do Tumblr na varredura inicial, como vários artigos notados.
