Se o recente escândalo de dados da Cambridge Analytica nos ensinou alguma coisa, é que as culturas éticas de nossas maiores empresas de tecnologia precisam de um escrutínio mais rígido.

Mas questões morais sobre quais dados devem ser coletados e como devem ser usados ​​são apenas o começo. Eles levantam questões mais amplas sobre quem pode tomar essas decisões em primeiro lugar.

Atualmente, temos um sistema no qual o poder sobre o uso judicioso e ético dos dados está predominantemente concentrado entre os homens brancos. A pesquisa mostra que os preconceitos inconscientes que emergem da educação e experiências de uma pessoa podem ser incorporados à tecnologia, resultando em consequências negativas para os grupos minoritários.

Esses preconceitos são difíceis de eliminar, o que torna a diversidade no local de trabalho uma ferramenta poderosa e necessária para detectar preconceitos insuspeitados antes que eles tenham a chance de causar danos. À medida que o impacto dos algoritmos e decisões baseados em dados se torna mais profundo, precisamos perguntar:como isso vai mudar no futuro?

Infelizmente, os indicadores sugerem que a resposta é:não muito.

De quais consequências estamos falando?

O enviesamento algorítmico é agora um problema amplamente estudado que se refere a como os preconceitos humanos se infiltram nas decisões tomadas pelos computadores.

O problema levou a traduções de idiomas com gênero, recomendações tendenciosas de condenação criminal, e sistemas de reconhecimento facial racialmente distorcidos.

Por exemplo, quando uma ferramenta de tradução automática, como o Google Translate, é necessária para traduzir um idioma de gênero neutro (como o turco) para um específico de gênero (como o inglês), ela adivinha o gênero a ser atribuído ao texto traduzido.

As pessoas notaram que o Google Translate mostrou uma tendência de atribuir pronomes de gênero feminino a certos empregos e pronomes masculinos a outros - "ela é babá" ou "ele é médico" - de uma maneira que cheirava a sexismo. O Google Translate baseia sua decisão sobre qual gênero atribuir a um determinado trabalho nos dados de treinamento com os quais ele aprende. Nesse caso, é pegar o preconceito de gênero que já existe no mundo e alimentá-lo de volta para nós.

Se quisermos garantir que os algoritmos não perpetuem e reforcem os preconceitos existentes, precisamos ter cuidado com os dados que usamos para treinar algoritmos. Mas se mantivermos a opinião de que as mulheres são mais propensas a serem babás e os homens são mais propensos a serem médicos, então podemos nem mesmo notar - e corrigir - dados tendenciosos nas ferramentas que construímos.

Portanto, é importante quem está escrevendo o código, porque o código define o algoritmo, que faz o julgamento com base nos dados.

Quem detém o poder?

Apenas dez anos atrás, os primeiros smartphones estavam deixando sua marca. Hoje, algumas das pessoas mais poderosas do planeta são aquelas que controlam os dados coletados por meio de tecnologias móveis.

Os dados são fundamentais para o funcionamento do mundo moderno. E poder sobre os negócios, democracia e educação provavelmente continuarão a depender de dados e ferramentas dependentes de dados, como aprendizado de máquina e inteligência artificial.

Atualmente, as pessoas que têm o poder de tomar decisões éticas sobre o uso de dados são normalmente homens brancos de alta renda, famílias bem educadas.

Uma empresa de pesquisa, Microfone aberto, que se descreve como "investindo na diversidade racial no mundo da tecnologia", revisou dados de algumas das maiores empresas de tecnologia e encontrou um padrão consistente:porcentagens desproporcionais de funcionários brancos em comparação com a população trabalhadora em geral.

A força de trabalho da Adobe é 69% branca, O da Apple é 56% branco, O Google é 59% branco e a Microsoft 58% branca. A lista continua:"Pessoas negras, Latinos, e os nativos americanos estão sub-representados em tecnologia em 16 a 18 pontos percentuais em comparação com sua presença na força de trabalho dos EUA em geral. "

Isso é piorado por uma falta paralisante de diversidade de gênero.

Em um relatório da Microsoft de 2017, uma pesquisa com líderes de TI e tecnologia do Reino Unido descobriu que, em média, a mistura de gênero entre suas equipes era 80% masculina e 20% feminina. Surpreendentemente, 35% dos entrevistados não tinham planos para mudar esse desequilíbrio.

Os números são semelhantes na Austrália, de acordo com um estudo de perfis profissionais australianos na rede social LinkedIn.

Ele revelou que apenas 14% dos cargos executivos na indústria de tecnologia local eram ocupados por mulheres. Dos 435, 000 pessoas em TI listadas no LinkedIn na Austrália, apenas 31% eram mulheres. Mesmo esses números podem ser otimistas, de acordo com o cientista-chefe da Austrália, Alan Finkel, que notou que as mulheres representam menos de um quinto dos australianos qualificados em ciências, tecnologia, engenharia e matemática.

Isso vai mudar?

Os responsáveis ​​pelo desenvolvimento dos algoritmos do futuro são aqueles que estão estudando ciência da computação e ciências matemáticas agora. Tristemente, os grupos que dominam essas disciplinas nas escolas e universidades refletem amplamente a força de trabalho atual.

Os estudantes domésticos australianos matriculados em tecnologia da informação de nível superior caíram de um pico de 46, 945 em 2002 a 27, 547 em 2013. Embora os números tenham melhorado ligeiramente de acordo com o AEN University Rankings, as mulheres em engenharia e TI ainda representam menos de um em cada cinco alunos.

Enquanto isso, o número de meninas no ensino médio cursando as disciplinas de computação avançada e matemática necessárias para ingressar nessas funções permanece decididamente baixo.

Este navio está demorando muito para virar.

O que podemos fazer sobre isso?

Se os programadores do futuro forem os meninos da classe média de hoje, como os estamos preparando para fazer escolhas éticas imparciais quando se tornarem os Zuckerbergs de amanhã? E como podemos dirigir o navio para que a riqueza e o poder que continuarão a fluir do domínio de tais habilidades técnicas não sejam negados aos que não são brancos e homens?

Nosso sistema educacional está inadvertidamente permitindo que os meninos treinem como pessoas técnicas sem as habilidades para colocar seu trabalho em um contexto social, e permitindo que as meninas façam o contrário.

De fato, enquanto muitas das jovens mais inteligentes estão optando por entrar em medicina ou direito, essas profissões são vulneráveis ​​ao avanço da inteligência artificial - paralegais, radiologistas, e aqueles que fazem diagnósticos preliminares.

Estamos em uma estrutura em que os mesmos velhos desequilíbrios estão se fortalecendo e tentamos persistir. Mas não é assim que deveria ser. A menos que confrontemos a cultura por meio de grandes mudanças nas tendências educacionais, nada vai mudar.

Este artigo foi publicado originalmente em The Conversation. Leia o artigo original.