p Abordando problemas de preconceito em inteligência artificial, cientistas da computação de Princeton e da Universidade de Stanford desenvolveram métodos para obter conjuntos de dados mais justos contendo imagens de pessoas. Os pesquisadores propõem melhorias para ImageNet, um banco de dados de mais de 14 milhões de imagens que desempenhou um papel fundamental no avanço da visão computacional na última década. p ImageNet, que inclui imagens de objetos e paisagens, bem como pessoas, serve como uma fonte de dados de treinamento para pesquisadores que criam algoritmos de aprendizado de máquina que classificam imagens ou reconhecem elementos dentro delas. A escala sem precedentes da ImageNet exigia coleta de imagens automatizada e anotação de imagens com crowdsourcing. Embora as categorias de pessoas do banco de dados raramente tenham sido usadas pela comunidade de pesquisa, a equipe da ImageNet tem trabalhado para resolver preconceitos e outras preocupações sobre imagens de pessoas que são consequências não intencionais da construção da ImageNet.

p "A visão computacional agora funciona muito bem, o que significa que está sendo implantado em todos os lugares em todos os tipos de contextos, "disse a co-autora Olga Russakovsky, professor assistente de ciência da computação em Princeton. "Isso significa que agora é a hora de falar sobre o tipo de impacto que está tendo no mundo e pensar sobre esses tipos de questões de justiça."

p Em um novo jornal, a equipe ImageNet identificou sistematicamente conceitos não visuais e categorias ofensivas, como caracterizações raciais e sexuais, entre as categorias de pessoas da ImageNet e propôs removê-las do banco de dados. Os pesquisadores também desenvolveram uma ferramenta que permite aos usuários especificar e recuperar conjuntos de imagens de pessoas balanceadas por idade, expressão de gênero ou cor da pele - com o objetivo de facilitar algoritmos que classifiquem de forma mais justa os rostos e atividades das pessoas em imagens. Os pesquisadores apresentaram seu trabalho em 30 de janeiro na Association for Computing Machinery's Conference on Fairness, Responsabilidade e transparência em Barcelona, Espanha.

p "Há uma grande necessidade de pesquisadores e laboratórios com experiência técnica fundamental nisso se engajarem nesses tipos de conversas, "disse Russakovsky." Dada a realidade de que precisamos coletar dados em escala, dada a realidade de que será feito com crowdsourcing, porque esse é o canal mais eficiente e bem estabelecido, como podemos fazer isso de uma forma mais justa - que não caia nesse tipo de armadilha anterior? A mensagem central deste artigo gira em torno de soluções construtivas. "

p Um grupo de cientistas da computação em Princeton e Stanford lançou o ImageNet em 2009 como um recurso para pesquisadores e educadores acadêmicos. Liderando o esforço estava o ex-aluno de Princeton e membro do corpo docente Fei-Fei Li, agora é professor de ciência da computação em Stanford. Para incentivar os pesquisadores a construir melhores algoritmos de visão computacional usando ImageNet, a equipe também criou o Desafio de Reconhecimento Visual em Grande Escala ImageNet. O desafio se concentrou amplamente no reconhecimento de objetos usando 1, 000 categorias de imagens, apenas três apresentavam pessoas.

p Alguns dos problemas de justiça no ImageNet decorrem do pipeline usado para construir o banco de dados. Suas categorias de imagens vieram do WordNet, um banco de dados mais antigo de palavras em inglês usadas para pesquisa de processamento de linguagem natural. Os criadores da ImageNet adotaram os substantivos no WordNet - alguns dos quais, embora sejam termos verbais claramente definidos, não traduz bem para um vocabulário visual. Por exemplo, termos que descrevem a religião ou origem geográfica de uma pessoa podem recuperar apenas os resultados de pesquisa de imagens mais distintos, potencialmente levando a algoritmos que perpetuam estereótipos.

p Um projeto de arte recente chamado ImageNet Roulette chamou a atenção para essas preocupações. O projeto, lançado em setembro de 2019 como parte de uma exposição de arte em sistemas de reconhecimento de imagem, usou imagens de pessoas da ImageNet para treinar um modelo de inteligência artificial que classificava as pessoas por palavras com base em uma imagem enviada. Os usuários podem fazer upload de uma imagem de si mesmos e recuperar um rótulo com base neste modelo. Muitas das classificações foram ofensivas ou simplesmente erradas.

p A inovação central que permitiu aos criadores da ImageNet acumular um banco de dados tão grande de imagens rotuladas foi o uso de crowdsourcing - especificamente, a plataforma Amazon Mechanical Turk (MTurk), por meio do qual os trabalhadores eram pagos para verificar as imagens dos candidatos. Esta abordagem, enquanto transformador, era imperfeito, levando a alguns preconceitos e categorizações inadequadas.

p "Quando você pede às pessoas que verifiquem as imagens selecionando as corretas em um grande conjunto de candidatos, as pessoas se sentem pressionadas a selecionar algumas imagens e essas imagens tendem a ser aquelas com características distintas ou estereotipadas, "disse o autor principal Kaiyu Yang, um estudante de graduação em ciência da computação.

p No estudo, Yang e seus colegas filtraram primeiro as categorias de pessoas potencialmente ofensivas ou sensíveis da ImageNet. Eles definiram categorias ofensivas como aquelas que continham palavrões ou calúnias raciais ou de gênero; categorias sensíveis incluídas, por exemplo, a classificação das pessoas com base na orientação sexual ou religião. Para anotar as categorias, eles recrutaram 12 alunos de pós-graduação de diversas origens, instruindo-os a errar ao rotular uma categoria como sensível se não tiverem certeza. Isso eliminou 1, 593 categorias - cerca de 54% das 2, 932 categorias de pessoas no ImageNet.

p Os pesquisadores então se voltaram para os trabalhadores do MTurk para avaliar a "capacidade de imagem" das categorias seguras restantes em uma escala de um a cinco. Manter categorias com uma classificação de capacidade de imagem de quatro ou mais resultou em apenas 158 categorias classificadas como seguras e passíveis de imagem. Mesmo este conjunto altamente filtrado de categorias continha mais de 133, 000 imagens - uma grande variedade de exemplos para treinar algoritmos de visão computacional.

p Dentro dessas 158 categorias, os pesquisadores estudaram a representação demográfica das pessoas nas imagens a fim de avaliar o nível de parcialidade no ImageNet e desenvolver uma abordagem para criar conjuntos de dados mais justos. O conteúdo da ImageNet vem de motores de busca de imagens como o Flickr, e os mecanismos de pesquisa em geral produzem resultados que superrepresentam os homens, pessoas de pele clara, e adultos entre 18 e 40 anos.

p "As pessoas descobriram que as distribuições de dados demográficos nos resultados da pesquisa de imagens são altamente tendenciosas, e é por isso que a distribuição em ImageNet também é tendenciosa, "disse Yang." Neste artigo, tentamos entender o quão tendencioso é, e também propor um método para equilibrar a distribuição. "

p Dos atributos protegidos pelas leis antidiscriminação dos EUA, os pesquisadores consideraram os três atributos passíveis de imagem:cor da pele, expressão de gênero e idade. Os trabalhadores do MTurk foram solicitados a anotar cada atributo de cada pessoa em uma imagem. Eles classificaram a cor da pele como clara, médio ou escuro; e idade como criança (menor de 18 anos), adulto 18-40, adulto de 40-65 ou adulto com mais de 65 anos. As classificações de gênero incluem homens, feminino e inseguro - uma maneira de incluir pessoas com diversas expressões de gênero, bem como fazer anotações em imagens em que o gênero não pode ser percebido a partir de pistas visuais (como muitas imagens de bebês ou mergulhadores).

p Uma análise das anotações mostrou que, semelhantes aos resultados da pesquisa, O conteúdo da ImageNet reflete um viés considerável. Pessoas anotadas como de pele escura, mulheres, e adultos com mais de 40 anos estavam sub-representados na maioria das categorias.

p Embora o processo de anotação incluísse controles de qualidade e anotadores necessários para chegar a um consenso, por preocupação com o dano potencial de anotações incorretas, os pesquisadores optaram por não divulgar anotações demográficas para imagens individuais. Em vez de, eles projetaram uma ferramenta de interface da web que permite aos usuários obter um conjunto de imagens que são demograficamente balanceadas de uma forma que o usuário especifica. Por exemplo, a coleção completa de imagens na categoria "programador" pode incluir cerca de 90% homens e 10% mulheres, enquanto nos Estados Unidos cerca de 20% dos programadores de computador são mulheres. Um pesquisador poderia usar a nova ferramenta para recuperar um conjunto de imagens do programador representando 80% do sexo masculino e 20% do sexo feminino - ou mesmo uma divisão, dependendo da finalidade do pesquisador.

p "Não queremos dizer qual é a maneira correta de equilibrar os dados demográficos, porque não é um problema muito simples, "disse Yang." A distribuição pode ser diferente em diferentes partes do mundo - a distribuição das cores da pele nos EUA é diferente da de países na Ásia, por exemplo. Então, deixamos essa questão para nosso usuário, e fornecemos apenas uma ferramenta para recuperar um subconjunto equilibrado de imagens. "

p A equipe ImageNet está atualmente trabalhando em atualizações técnicas para seu hardware e banco de dados, além de implementar a filtragem das categorias de pessoas e a ferramenta de rebalanceamento desenvolvida nesta pesquisa. ImageNet será em breve relançado com essas atualizações, e com um pedido de feedback da comunidade de pesquisa de visão computacional.