p Imagine andar na rua e ver telas de publicidade mudando seu conteúdo com base em como você anda, como você fala, ou até mesmo o formato do seu peito. Essas telas dependem de câmeras ocultas, microfones e computadores para adivinhar se você é homem ou mulher. Isso pode soar futurista, mas os clientes de uma pizzaria norueguesa descobriram que é exatamente o que estava acontecendo:as mulheres estavam vendo anúncios de saladas e os homens vendo anúncios de opções de carne. O software rodando um painel de publicidade digital derramou o feijão quando travou e exibiu seu código subjacente. A motivação por trás do uso dessa tecnologia pode ter sido melhorar a qualidade da publicidade ou a experiência do usuário. No entanto, muitos clientes ficaram desagradavelmente surpresos com isso. p Esse tipo de situação não é apenas assustador e invasivo. É pior:esforços de reconhecimento automático de gênero - usando algoritmos para adivinhar o gênero de uma pessoa com base em imagens, vídeo ou áudio - levanta questões sociais e éticas significativas que ainda não foram totalmente exploradas. A maioria das pesquisas atuais sobre tecnologias de reconhecimento automático de gênero concentra-se em detalhes tecnológicos.

p Nossa pesquisa recente descobriu que pessoas com identidades de gênero diversas, incluindo aqueles que se identificam como transexuais ou de gênero não binário, estão particularmente preocupados que esses sistemas possam classificá-los incorretamente. Pessoas que expressam seu gênero de maneira diferente das normas estereotipadas masculinas e femininas já experimentam discriminação e dano como resultado de serem mal categorizadas ou mal compreendidas. Idealmente, designers de tecnologia devem desenvolver sistemas para tornar esses problemas menos comuns, não mais.

p Usando algoritmos para classificar pessoas

p À medida que as tecnologias digitais se tornam mais poderosas e sofisticadas, seus designers estão tentando usá-los para identificar e categorizar características humanas complexas, como orientação sexual, gênero e etnia. A ideia é que, com treinamento suficiente em dados abundantes do usuário, algoritmos podem aprender a analisar a aparência e o comportamento das pessoas - e talvez um dia também caracterizar as pessoas ou ainda melhor do que, outros humanos fazem.

p Gênero é um assunto difícil de lidar. É um conceito complexo com papéis importantes tanto como construção cultural quanto como aspecto central da identidade de um indivíduo. Pesquisadores, acadêmicos e ativistas estão revelando cada vez mais a diversidade, aspectos fluidos e multifacetados de gênero. No processo, eles descobrem que ignorar essa diversidade pode levar a experiências prejudiciais e injustiça social. Por exemplo, de acordo com a Pesquisa Nacional de Transgêneros de 2016, 47 por cento dos participantes transexuais afirmaram ter sofrido alguma forma de discriminação em seu local de trabalho devido à sua identidade de gênero. Mais da metade das pessoas trans que foram assediadas, agredidos ou expulsos por causa de sua identidade de gênero haviam tentado suicídio.

p Muitas pessoas têm, em um momento ou outro, fiquei surpreso, ou confuso ou até mesmo zangado por se verem confundidos com uma pessoa de outro gênero. Quando isso acontece com alguém que é transgênero - estima-se que 0,6 por cento dos americanos, ou 1,4 milhão de pessoas, são - pode causar estresse e ansiedade consideráveis.

p Efeitos do reconhecimento automático de gênero

p Em nossa pesquisa recente, entrevistamos 13 transexuais e pessoas não-conformes com o gênero, sobre suas impressões gerais da tecnologia de reconhecimento automático de gênero. Também pedimos que descrevessem suas respostas a cenários futuros imaginários onde poderiam encontrá-lo. Todos os 13 participantes estavam preocupados com essa tecnologia e duvidavam que ela pudesse oferecer algum benefício à sua comunidade.

p De particular preocupação era a perspectiva de ser maltratado por ele; em sua experiência, gênero é em grande parte interno, característica subjetiva, não algo que seja necessariamente ou inteiramente expresso externamente. Portanto, nem humanos nem algoritmos podem ler com precisão o gênero por meio de características físicas, como o rosto, corpo ou voz.

p Eles descreveram como ser mal interpretado por algoritmos pode parecer pior do que se os humanos fizessem isso. A tecnologia é frequentemente percebida ou considerada objetiva e imparcial, portanto, ser categorizado incorretamente por um algoritmo enfatizaria o equívoco de que uma identidade transgênero não é autêntica. Um participante descreveu como se sentiriam magoados se um "software de um milhão de dólares desenvolvido por quantas pessoas" decidisse que eles não são quem eles próprios acreditam ser.

p Privacidade e transparência

p As pessoas que entrevistamos compartilhavam a preocupação comum do público de que câmeras automatizadas pudessem ser usadas para vigilância sem seu consentimento ou conhecimento; por anos, pesquisadores e ativistas levantaram bandeiras vermelhas sobre o aumento das ameaças à privacidade em um mundo habitado por sensores e câmeras.

p Mas nossos participantes descreveram como os efeitos dessas tecnologias podem ser maiores para pessoas trans. Por exemplo, eles podem ser considerados incomuns porque têm aparência ou comportamento diferente do que os algoritmos subjacentes esperam. Alguns participantes estavam até preocupados que os sistemas pudessem determinar falsamente que eles estavam tentando ser outra pessoa e enganar o sistema.

p Suas preocupações também se estendiam a pessoas cisgênero que podem ter uma aparência ou agir de maneira diferente da maioria, como pessoas de diferentes raças, pessoas que os algoritmos percebem como andróginos, e pessoas com estruturas faciais únicas. Isso já acontece com pessoas de minorias raciais e étnicas, que são regularmente identificados incorretamente pela tecnologia de reconhecimento facial. Por exemplo, a tecnologia de reconhecimento facial existente em algumas câmeras não consegue detectar corretamente os rostos dos usuários asiáticos e enviar mensagens para que parem de piscar ou abram os olhos.

p Nossos entrevistados queriam saber mais sobre como funcionam os sistemas automáticos de reconhecimento de gênero e para que são usados. Eles não queriam saber detalhes técnicos profundos, mas queria ter certeza de que a tecnologia não comprometeria sua privacidade ou identidade. Eles também queriam mais pessoas transexuais envolvidas nas fases iniciais de design e desenvolvimento desses sistemas, bem antes de serem implantados.

p Criação de sistemas automáticos inclusivos

p Nossos resultados demonstram como os projetistas de tecnologias de categorização automática podem causar danos inadvertidamente ao fazer suposições sobre a simplicidade e a previsibilidade das características humanas. Nossa pesquisa contribui para um crescente corpo de trabalho que tenta incorporar o gênero de forma mais cuidadosa à tecnologia.

p As minorias têm sido historicamente deixadas de fora das conversas sobre a implantação de tecnologia em grande escala, incluindo minorias étnicas e pessoas com deficiência. Ainda, cientistas e designers sabem que incluir contribuições de grupos minoritários durante o processo de design pode levar a inovações técnicas que beneficiam todas as pessoas. Defendemos uma abordagem mais inclusiva de gênero e centrada no ser humano para a automação que incorpore diversas perspectivas.

p Conforme as tecnologias digitais se desenvolvem e amadurecem, eles podem levar a inovações impressionantes. Mas como os humanos dirigem esse trabalho, devem evitar amplificar as tendências e preconceitos humanos que são negativos e limitantes. No caso de reconhecimento automático de gênero, não concluímos necessariamente que esses algoritmos devam ser abandonados. Em vez, designers desses sistemas devem incluir, e sensível a, a diversidade e complexidade da identidade humana. p Este artigo foi publicado originalmente em The Conversation. Leia o artigo original.