A Inteligência Artificial está transformando nosso mundo, às vezes de maneiras que seus criadores não pretendiam. No Wellcome Data Labs, estamos desenvolvendo um novo método de aplicação de abordagens das ciências sociais à maneira como os algoritmos de IA são produzidos para resolver problemas de ciência de dados. O objetivo é evitar possíveis consequências negativas dos algoritmos, identificando-os no início do processo de desenvolvimento.

Já houve tentativas de definir essa forma de trabalho. Um exemplo é o excelente post de Catalina Butnaru propondo um novo processo de ética ágil. Há muito para recomendar essa abordagem, não menos importante, que é sistemático e alinhado em suas etapas às etapas bem conhecidas de metodologias de desenvolvimento de software ágeis.

Contudo, Butnaru não aborda a mecânica de como seu processo de ética ágil sugerido poderia ser gerenciado. É a própria equipe de cientistas de dados e engenheiros que é responsável por seguir as etapas? Ou seu gerente de produto? Ou a equipe UX? Ou uma equipe separada para os engenheiros que audita seu trabalho?

Temos pensado muito sobre essas questões, já que estamos ansiosos para testar como as abordagens éticas podem ser aplicadas ao trabalho dos cientistas de dados na prática e não apenas na teoria.

O principal desafio que nos colocamos é:como aplicar um processo como o de Butnaru, ou uma das outras metodologias rivais, de uma forma que reduz de forma mensurável as questões éticas, como viés inadvertido, mas não reduz a energia e a eficácia de nossas equipes de produtos Agile?

Achamos que isso pode ser feito incentivando os cientistas sociais a trabalharem como parte de equipes interdisciplinares com desenvolvedores de software e cientistas de dados, adotando suas metodologias ágeis e iterativas.

Descrevi alguns dos desafios de fazer isso. Por exemplo, a dificuldade de fazer os pesquisadores de ciências sociais trabalharem na mesma velocidade e no mesmo ritmo que os desenvolvedores de software e cientistas de dados. Contudo, há um modelo potencial a ser seguido, aprendendo com a integração bem-sucedida da disciplina de Experiência do usuário nos fluxos de trabalho de desenvolvimento de software.

Existe um desafio adicional, no entanto. Contar com um pesquisador usuário integrado a uma equipe de produto para orientar essa equipe por meio de uma metodologia de ética ágil por conta própria apresenta o risco de perda de objetividade. Este é um problema bem conhecido na pesquisa etnográfica, onde há uma tensão ativa entre o papel de um pesquisador como um observador imparcial e a alternativa de ser um participante ativo.

Uma maneira menos técnica de ver isso é que as pessoas, fundamentalmente, são jogadores de equipa:querem integrar-se e podem ter dificuldade em criticar o trabalho dos seus colegas mais próximos. Eles também podem se tornar sujeitos ao 'pensamento de grupo' sem perceber.

No Wellcome Data Labs, elaboramos uma abordagem emparelhada para a ética do Agile que visa resolver esse problema. Nossa metodologia proposta tem três etapas:

1. Incorporar no Data Labs um usuário pesquisador com experiência em trabalhar como parte de equipes de produtos Agile e realizar pesquisas em ciências sociais. Este pesquisador embarcado terá o objetivo explicitamente definido de testar os modelos algorítmicos nos quais os desenvolvedores de software e cientistas de dados estão trabalhando do ponto de vista de seu possível impacto social.
2. Eles ajustarão e desenvolverão suas análises iterativamente para coincidir com a velocidade do trabalho de tecnologia e alimentar suas conclusões emergentes de volta para os cientistas de dados para orientar o curso de seu trabalho.
3. O pesquisador incorporado será colocado em par com outro cientista social fora da equipe para fornecer uma crítica objetiva e os controles e balanços necessários em sua análise.

Todas as três partes da metodologia proposta são igualmente importantes.

• Não incorporar o pesquisador à equipe tornaria difícil para eles ter um conhecimento próximo o suficiente do que os cientistas de dados estão fazendo.
• Retestar e reescrever não iterativamente sua análise de possível impacto social deixará de corresponder ao ritmo do desenvolvimento tecnológico - a principal vantagem proposta desta metodologia.
• Finalmente, o emparelhamento é projetado para evitar que o pesquisador incorporado arrisque a perda de seu distanciamento profissional e objetividade, o que é um risco precisamente porque eles estão intimamente integrados às equipes de tecnologia.
• Toda essa abordagem é um experimento em si e não temos certeza de que funcionará. Contudo, isso é exatamente o que o torna interessante para nós. Esperamos que isso nos ajude a ficar mais cientes dos vieses introduzidos pelos algoritmos que desenvolvemos e a minimizar quaisquer consequências negativas não intencionais potenciais das ferramentas que a equipe produz.

Isso é importante porque Wellcome, como um financiador significativo de pesquisas científicas, tem um impacto notável nas indústrias acadêmica e de saúde. E a análise do Wellcome Data Labs alimenta o processo de tomada de decisão da Wellcome. Quaisquer tendências não intencionais nos algoritmos que minha equipe produz que podem afetar as decisões da Wellcome, poderia ter um efeito cascata nas decisões de mais financiadores, o que, por sua vez, pode resultar em impactos secundários em outras indústrias e na sociedade em geral. Temos a responsabilidade de acertar.