Na corrida para superar a concorrência de outras empresas, o design de inteligência artificial (IA) carece de uma compreensão profunda do que significam os dados sobre humanos e sua relação com o patrimônio. Dois sociólogos da Universidade Drexel sugerem que prestemos mais atenção ao impacto social da IA, pois está aparecendo com mais frequência do que nunca.

"A pandemia de coronavírus acelerou o uso de IA e automação para substituir trabalhadores humanos, como parte do esforço para minimizar os riscos associados às interações face a face, "disse Kelly Joyce, Ph.D., professor da Faculdade de Artes e Ciências e diretor fundador do Centro de Ciências, Tecnologia e Sociedade na Drexel. "Cada vez mais vemos exemplos de algoritmos que intensificam as desigualdades existentes. Como instituições como a educação, cuidados de saúde, guerra, e o trabalho adota esses sistemas, devemos remediar essa desigualdade. "

Em um artigo recém-publicado em Sócio , Joyce, Susan Bell, Ph.D., professor da Faculdade de Artes e Ciências, e colegas levantam preocupações sobre o impulso para acelerar rapidamente o desenvolvimento de IA nos Estados Unidos, sem acelerar as práticas de treinamento e desenvolvimento necessárias para fazer tecnologia ética. O artigo propõe uma agenda de pesquisa para uma sociologia da IA.

"A compreensão da sociologia da relação entre os dados humanos e as desigualdades de longa data é necessária para criar sistemas de IA que promovam a igualdade, "explicou Joyce.

Como definimos IA?

O termo AI tem sido usado de muitas maneiras diferentes e as primeiras interpretações associam o termo a software que é capaz de aprender e agir por conta própria. Por exemplo, carros autônomos aprendem e identificam rotas e obstáculos, assim como aspiradores robóticos fazem o perímetro ou layout de uma casa, e assistentes inteligentes (Alexa ou Google Assistant) identificam o tom de voz e as preferências de seu usuário.

"AI tem um escopo de definição fluido que ajuda a explicar seu apelo, "disse Joyce." É expansivo, significado ainda não especificado permite aos promotores tornarem-se orientados para o futuro, empiricamente não comprovado, reivindicações promissórias de seu potencial impacto social positivo. "

Joyce, Bell e seus colegas explicam que, nos últimos anos, as comunidades de programação se concentraram amplamente no desenvolvimento de aprendizado de máquina (ML) como uma forma de IA. O termo ML é mais comumente usado entre os pesquisadores do que o termo AI, embora AI continue a ser o termo voltado para o público usado pelas empresas, institutos, e iniciativas. "ML enfatiza o treinamento de sistemas de computador para reconhecer, ordenar, e prever os resultados da análise de conjuntos de dados existentes, "explicou Joyce.

Praticantes de IA, Cientistas da computação, cientistas e engenheiros de dados são sistemas de treinamento para reconhecer, classificar e prever resultados da análise de conjuntos de dados existentes. Os humanos inserem os dados existentes para ajudar a treinar os sistemas de IA para tomar decisões autônomas. O problema aqui é que os praticantes de IA normalmente não entendem como os dados sobre humanos quase sempre são também dados sobre desigualdade.

"Os praticantes de IA podem não estar cientes dos dados sobre X (por exemplo, CEP, registros de saúde, localização de rodovias) também podem ser dados sobre Y (por exemplo, classe, desigualdades de gênero ou raça, status socioeconômico), "disse Joyce, quem é o autor principal do artigo. "Eles podem pensar, por exemplo, que os CEPs são dados neutros que se aplicam a todas as pessoas de maneira igual, em vez de compreender que os CEPs geralmente também fornecem informações sobre raça e classe devido à segregação. Esta falta de compreensão resultou na aceleração e intensificação das desigualdades à medida que os sistemas de ML são desenvolvidos e implantados. "

"Identificando correlações entre grupos vulneráveis ​​e chances de vida, Os sistemas de IA aceitam essas correlações como causalidade, e usá-los para tomar decisões sobre intervenções futuras. Desta maneira, Os sistemas de IA não criam novos futuros, mas sim replicar as desigualdades duráveis ​​que existem em um determinado mundo social, "explica Joyce.

A IA é ameaçada por racismo sistêmico e preconceito humano?

Existem políticas ligadas a algoritmos, dados e código. Considere o motor de busca Google. Embora os resultados de pesquisa do Google possam parecer saídas neutras ou singulares, O mecanismo de busca do Google recria o sexismo e o racismo encontrados na vida cotidiana.

"Os resultados da pesquisa refletem as decisões tomadas para fazer os algoritmos e códigos, e isso reflete o ponto de vista dos funcionários do Google, "explica Bell." Especificamente, suas decisões sobre o que rotular como sexista ou racista refletem as estruturas sociais mais amplas do racismo e sexismo generalizados. Por sua vez, decisões sobre o que rotular como sexista ou racista 'treina' um sistema de BC. Embora o Google culpe os usuários por contribuir para os resultados de pesquisa sexistas e racistas, a fonte está na 'entrada'. "

Bell aponta "em contraste com a neutralidade percebida dos resultados de pesquisa do Google, a opressão social e a desigualdade são incorporadas e ampliadas por eles. "

Outro exemplo apontado pelos autores são os sistemas de IA que usam dados dos registros eletrônicos de saúde dos pacientes (EHRs) para fazer previsões sobre as recomendações de tratamento adequadas. Embora os cientistas da computação e engenheiros muitas vezes considerem a privacidade ao projetar sistemas de IA, compreender as dimensões multivalentes dos dados humanos normalmente não faz parte do seu treinamento. Diante disso, eles podem assumir que os dados EHR representam conhecimento objetivo sobre o tratamento e os resultados, em vez de vê-lo através de uma lente sociológica que reconhece como os dados RSE são parciais e situados.

"Ao usar uma abordagem sociológica, "Joyce explica, "Você entende que os resultados dos pacientes não são neutros ou objetivos - estão relacionados ao status socioeconômico dos pacientes, e muitas vezes nos dizem mais sobre as diferenças de classe, racismo e outros tipos de desigualdades do que a eficácia de tratamentos específicos. "

O artigo aponta exemplos como um algoritmo que recomendava que pacientes negros recebessem menos cuidados de saúde do que pacientes brancos com as mesmas condições e um relatório mostrando que o software de reconhecimento facial é menos provável de reconhecer pessoas de cor e mulheres mostrou que a IA pode intensificar as desigualdades existentes.

"Uma compreensão sociológica dos dados é importante, dado que um uso acrítico de dados humanos em sistemas sociotécnicos de IA tenderá a se reproduzir, e talvez até exacerbar, desigualdades sociais preexistentes, "disse Bell." Embora as empresas que produzem sistemas de IA se escondam atrás da alegação de que algoritmos ou usuários de plataforma criam racismo, resultados sexistas, estudos sociológicos ilustram como a tomada de decisão humana ocorre em cada etapa do processo de codificação. "

No papel, os pesquisadores demonstram que os estudos sociológicos podem ser combinados com outras pesquisas críticas das ciências sociais para evitar algumas das armadilhas das aplicações de IA. "Ao examinar o projeto e a implementação de sistemas sociotécnicos de IA, o trabalho sociológico traz o trabalho humano e os contextos sociais à vista, "disse Joyce. Com base no reconhecimento da sociologia da importância dos contextos organizacionais na formação de resultados, o artigo mostra que tanto as fontes de financiamento quanto os contextos institucionais são os principais motores de como os sistemas de IA são desenvolvidos e usados.

A IA requer orientação da sociologia? Os pesquisadores dizem que sim.

Joyce, Bell e seus colegas sugerem que, apesar dos esforços bem-intencionados para incorporar conhecimento sobre mundos sociais em sistemas sociotécnicos, Os cientistas de IA continuam a demonstrar uma compreensão limitada do social - priorizando o que pode ser fundamental para a execução de tarefas de engenharia de IA, mas apagando a complexidade e imersão das desigualdades sociais.

"A abordagem profundamente estrutural da Sociologia também contrasta com as abordagens que destacam a escolha individual, "disse Joyce." Um dos tropos mais difundidos do liberalismo político é que a mudança social é impulsionada pela escolha individual. Como indivíduos, a lógica vai, podemos criar futuros mais justos fabricando e escolhendo produtos melhores, práticas, e representantes políticos. O mundo da tecnologia tende a sustentar uma perspectiva individualista similar quando seus engenheiros e especialistas em ética enfatizam a eliminação do preconceito humano no nível individual e o aprimoramento do treinamento de sensibilidade como forma de abordar a desigualdade nos sistemas de IA. "

Joyce, Bell e seus colegas convidam os sociólogos a usar as ferramentas teóricas e metodológicas da disciplina para analisar quando e como as desigualdades se tornam mais duráveis ​​pelos sistemas de IA. Os pesquisadores enfatizam que a criação de sistemas sociotécnicos de IA não é simplesmente uma questão de design tecnológico, mas também levanta questões fundamentais sobre poder e ordem social.

"Os sociólogos são treinados para identificar como as desigualdades estão embutidas em todos os aspectos da sociedade e apontar caminhos para a mudança social estrutural. Portanto, os sociólogos devem desempenhar um papel de liderança na imaginação e modelagem dos futuros da IA, "disse Joyce.