Algoritmos podem decidir suas notas, suas perspectivas de trabalho e sua segurança financeira. Como você sabe que eles são justos?
Crédito:Pixabay/CC0 Public Domain
Os algoritmos estão se tornando comuns. Eles podem determinar as perspectivas de emprego, segurança financeira e muito mais. O uso de algoritmos pode ser controverso – por exemplo, robodebt, como ficou conhecido o sistema falho de conformidade de bem-estar online do governo australiano.
Os algoritmos estão cada vez mais sendo usados para tomar decisões que têm um impacto duradouro em nossas vidas atuais e futuras.
Alguns dos maiores impactos da tomada de decisão algorítmica estão na educação. Se você tem alguma coisa a ver com uma escola ou universidade australiana, em algum momento um algoritmo tomará uma decisão que importa para você.
Então, que tipo de decisões podem envolver algoritmos? Algumas decisões envolverão a próxima pergunta para os alunos da escola responderem em um teste, como o fornecimento online do NAPLAN. Alguns algoritmos apoiam a tomada de decisões humanas em universidades, como identificar alunos em risco de reprovação em uma disciplina. Outros tiram o humano do circuito, como algumas formas de supervisão de exames online.
Como os algoritmos funcionam? Apesar de seus impactos generalizados em nossas vidas, muitas vezes é difícil entender como os algoritmos funcionam, por que foram projetados e por que são usados. À medida que os algoritmos se tornam uma parte fundamental da tomada de decisões na educação – e muitos outros aspectos de nossas vidas – as pessoas precisam saber duas coisas:
- como os algoritmos funcionam
- os tipos de trocas que são feitas na tomada de decisões usando algoritmos.
Na pesquisa para explorar essas duas questões, desenvolvemos um jogo de algoritmo usando metodologias participativas para envolver diversos atores na pesquisa. O processo torna-se uma forma de experimentação coletiva para encorajar novas perspectivas e insights sobre um problema.
Nosso jogo de algoritmo é baseado na controvérsia do exame do Reino Unido em 2020. Durante os bloqueios do COVID-19, um algoritmo foi usado para determinar as notas dos alunos que desejam frequentar a universidade. O algoritmo previu notas para alguns alunos muito abaixo do esperado. Diante dos protestos, o algoritmo acabou sendo descartado.
Nossa equipe interdisciplinar co-projetou o jogo de algoritmo de exame do Reino Unido em uma série de dois workshops e várias reuniões este ano. Nossos workshops incluíram estudantes, cientistas de dados, especialistas em ética e cientistas sociais. Tais perspectivas interdisciplinares são vitais para compreender a gama de implicações sociais, éticas e técnicas dos algoritmos na educação.
Algoritmos fazem trocas, então a transparência é necessária O exemplo do Reino Unido destaca os principais problemas com o uso de algoritmos na sociedade, incluindo questões de transparência e viés nos dados. Essas questões são importantes em todos os lugares, inclusive na Austrália.
Projetamos o jogo do algoritmo para ajudar as pessoas a desenvolver as ferramentas para ter mais voz na formação do mundo que os algoritmos estão criando. Os "jogos" de algoritmo convidam as pessoas a brincar e aprender sobre os parâmetros de como um algoritmo opera. Os exemplos incluem jogos que mostram às pessoas como os algoritmos são usados em sentenças criminais ou podem ajudar a prever o risco de incêndio em edifícios
Há uma crescente conscientização pública de que os algoritmos, especialmente aqueles usados em formas de inteligência artificial, precisam ser entendidos como levantando questões de justiça. Mas, embora todos possam ter uma compreensão vernácula do que é justo ou injusto, quando os algoritmos são usados, há inúmeras trocas envolvidas.
Em nosso jogo de algoritmo, levamos as pessoas a uma série de problemas em que a solução para um problema de justiça simplesmente introduz um novo. Por exemplo, o algoritmo do Reino Unido não funcionou muito bem para prever as notas dos alunos em escolas onde um número menor de alunos cursava determinadas matérias. Isso foi injusto para esses alunos.
A solução significou que o algoritmo não foi usado para essas escolas muitas vezes muito privilegiadas. Esses alunos, então, receberam notas previstas por seus professores. Mas essas notas eram principalmente mais altas do que as notas geradas por algoritmos recebidas por alunos em escolas maiores, que eram mais frequentemente escolas abrangentes do governo. Portanto, isso significava que a decisão era justa para alunos de escolas pequenas, injusta para alunos de escolas maiores que tinham notas atribuídas pelo algoritmo.
O que tentamos mostrar em nosso jogo é que não é possível ter um resultado perfeito. E que nem humanos nem algoritmos farão um conjunto de escolhas que sejam justas para todos. Isso significa que temos que tomar decisões sobre quais valores importam quando usamos algoritmos.
O público deve ter uma palavra a dizer para equilibrar o poder da EdTech Enquanto nosso jogo de algoritmo se concentra no uso de um algoritmo desenvolvido por um governo, os algoritmos na educação são comumente introduzidos como parte da tecnologia educacional. A indústria EdTech está se expandindo rapidamente na Austrália. As empresas procuram dominar todas as etapas da educação:matrícula, design de aprendizagem, experiência de aprendizagem e aprendizagem ao longo da vida.
Juntamente com esses desenvolvimentos, o COVID-19 acelerou o uso da tomada de decisão algorítmica na educação e além.
Enquanto essas inovações abrem possibilidades incríveis, os algoritmos também trazem consigo um conjunto de desafios que devemos enfrentar como sociedade. Exemplos como o algoritmo do exame do Reino Unido nos expõem a como esses algoritmos funcionam e os tipos de decisões que devem ser tomadas ao projetá-los. Somos então forçados a responder a perguntas profundas sobre quais valores escolheremos priorizar e qual roteiro de pesquisa levaremos adiante.
Nossas escolhas moldarão nosso futuro e o futuro das próximas gerações.
