Nós usamos isso, assista, trabalhe com ele - e pode sofrer ansiedade de separação quando não estiver disponível. Quais são as implicações da interação humana com a tecnologia, particularmente quando é usado para nos predizer ou nos policiar?

Como parte de seu primeiro programa, Cultura Algorítmica, o Institute for Policy, Ética, e Culture na Michigan Technological University trouxe a defensora da justiça social e pensadora Marika Pfefferkorn ao campus para falar sobre seu trabalho. Neste Q&A, Pfefferkorn compartilha mais sobre seu ativismo de base, como está se espalhando por todo o país e as ações que ela espera que nossa comunidade tome após sua visita.

P:O que você faz e como você entrou neste trabalho?

R:O Minneapolis-St. A Twin Cities Innovation Alliance (TCIA), sediada em Paul, é uma coalizão que representa um setor cruzado do público, organizações privadas e comunitárias, corporações e instituições. A TCIA foi fundada para ser proativa em relação ao surgimento de Smart Cities e para se envolver em soluções empreendedoras que levem a comunidades conectadas. Nós nos concentramos na importância e na função dos dados nos domínios das Smart Cities, incluindo educação, governança, infraestrutura e transporte.

Os dados são como oxigênio para as cidades inteligentes, e percebemos desde o início que era e é fundamental compartilhar com os membros da comunidade a promessa e os perigos que existem devido ao uso de seus dados. Agora nosso trabalho está se expandindo para todo o país.

P:O que despertou seu interesse no viés inerente aos algoritmos preditivos?

R:Em 2018, 43 distritos escolares de Minnesota foram identificados pelo Departamento de Direitos Humanos de Minnesota por discriminação contra negros, alunos pardos e indígenas em suspensões subjetivas fora da escola. Quando Ramsey County, as Escolas Públicas da Cidade de São Paulo e São Paulo firmaram um Acordo de Poderes Conjuntos com compartilhamento integrado de dados, eles propuseram a aplicação de análises preditivas e o uso de uma avaliação de risco para atribuir uma pontuação de risco para sinalizar crianças em risco de envolvimento futuro com o sistema de justiça juvenil. Quando eu soube que eles propuseram o uso de suspensões fora da escola como um indicador para sua avaliação de risco, Fiquei preocupado porque os dados que eles inseririam estavam errados e preconceituosos contra alunos negros e alunos que recebem serviços de educação especial. Reconheci que os tomadores de decisão e formuladores de políticas não haviam feito a devida diligência para proteger nossos alunos do perfil racial ou dos rótulos estigmatizantes que os seguiriam muito além de sua educação básica.

P:Você descobriu que tanto as famílias que poderiam ser afetadas por um algoritmo problemático quanto os funcionários que apoiaram o acordo de compartilhamento de dados como uma forma mais eficaz e eficiente de ajudar suas comunidades tinham lacunas de conhecimento e / ou se sentiam intimidadas ao discutir a tecnologia digital. Como a coalizão que você organizou trabalhou para levar informações às pessoas?

R:Uma vez que reconhecemos que ninguém realmente entendeu as implicações de tal amplo Acordo de Poderes Conjuntos, o algoritmo Coalition to Stop the Cradle to Prison investiu tempo para quebrar o documento peça por peça:se tivéssemos perguntas que fizéssemos, se tivéssemos preocupações, nós os nomeamos e se precisássemos de clareza, acessamos nossa rede comunitária e entramos em contato com parceiros como a ACLU de Minnesota e o Data for Black Lives. Como aprendemos, criamos ferramentas para que todos possam usar como catalisador para conversas mais construtivas. Um exemplo disso é o resumo da política que criamos e compartilhamos com nossas autoridades eleitas e partes interessadas para explicar nossas preocupações e destacar os aspectos problemáticos do acordo. Envolvemos os pais como embaixadores e apoiamos seus esforços para divulgar a mensagem. Organizamos várias cúpulas e fóruns da comunidade que posicionaram outros membros da comunidade como especialistas para falar sobre o que estava acontecendo e suas preocupações. Organizamos uma clínica Dare to Data e um workshop Algorithmic Improv para ajudar a interromper grande parte da intimidação que nossos membros da comunidade sentiam ao navegar na linguagem jurídica ou técnica com autoridades eleitas e formuladores de políticas.

P:As pessoas podem ficar com a impressão de que você é um antidados. É esse o caso?

R:Eu rio quando as pessoas pensam que sou anti-dados porque muito do meu trabalho depende de ter acesso a bons dados para contar a história toda. Para muitas pessoas neste trabalho, não há problema - a menos que você possa provar que há um problema com os dados. Muito do meu trabalho em disparidades disciplinares requer que eu defenda uma maior coleta de dados em torno das suspensões, referências de escritório e expulsões; minha preocupação sempre será como estamos protegendo os dados dos alunos contra uso indevido e abuso - o porquê é realmente importante.

P:Às vezes parece que muitos de nós simplesmente vamos de um computador para outro, de nossos relógios e carros para nossos assistentes domésticos. Como você acha que é uma relação adequada com a tecnologia?

R:Um relacionamento adequado com a tecnologia começa com a compreensão de que a tecnologia é uma ferramenta e para lembrar que nossa humanidade está em primeiro lugar. A tecnologia não é a bala de prata, a tecnologia não é a resposta para tudo, e a tecnologia deve ser mantida em perspectiva adequada, não diferido para neutro, acima da questão. Mais importante, o papel da tecnologia deve ser transparente.

P:Manchetes recentes, incluindo acusações de preconceito de gênero no cartão de crédito e a coleta de pontuações financeiras "secretas" (páginas e páginas de dados, com base em tudo, desde pedidos de comida para viagem até hábitos de assistir TV) revelam quão pouca privacidade realmente temos. A privacidade é possível em uma era algorítmica?

R:Estamos em um ponto de virada em nossa democracia, onde as pessoas estão dispostas a dar o bebê com a água do banho sem realmente entender o impacto de longo prazo da privacidade em uma era algorítmica. As empresas de tecnologia estão apostando nisso. Eu acredito que é o papel dos pais, educadores, Distritos escolares, estados e o governo federal para equipar melhor as pessoas para entender e navegar nesta nova era tecnológica - especialmente nossos nativos digitais, que não conhecem nada diferente. Uma educação em massa deve ser uma prioridade se quisermos proteger as proteções de privacidade que existem. Não podemos considerar nossa privacidade garantida.

P:Você se encontrou com o corpo docente, alunos e funcionários no início deste mês. Quais são algumas das interações mais significativas que você teve no campus?

R:Eu realmente gostei da minha visita ao Michigan Tech. Aprendi muito sobre o Institute for Policy, Ética, e Cultura, dos membros do comitê fundador com quem me reuni - ouvi sua visão para o IPEC ganhar vida quando descreveram o trabalho que esperam realizar. Espero ter a oportunidade de continuar a trabalhar com eles à medida que implementam este trabalho.

Minha parte favorita da visita foi envolver os alunos em uma aula de Direito e Sociedade, e reunião com professores e alunos de ciência da computação. Embora muitos dos alunos com quem interagi possam ter uma visão de mundo muito diferente, por meio de nossa narrativa e discussão, encontrei um terreno comum e interesse genuíno nos tópicos de big data, análise preditiva e algoritmos. Eu também saí com uma nova lista de leitura. Eu descobri que a maioria dos alunos realmente se importava, fizeram grandes perguntas e participaram da conversa porque estabeleceram uma conexão pessoal entre a teoria e a experiência da vida real.

P:O que você trouxe para nossa comunidade e espera que continue conosco?

R:Compartilhamento de dados integrado, a aplicação de análises preditivas e uso de algoritmos não é uma prática nova, but community members must be aware and prepared to participate in discussions and decision-making processes about their use to ensure that outcomes are not separate from the communities they are intended to serve and to know that certain students are more negatively impacted from others. When we talk about data and systems, we must recognize the harm that communities have experienced in the misuse of data and systems, and the individuals that represent them must do everything in their power to repair that harm and begin to build trust before any next steps are taken.

Q:What's next for your projects?

A:The Twin Cities Innovation Alliance has launched the Data for Public Good Campaign to work side by side with communities to identify emerging technological trends in education across the country for the purpose of creating a heat map to follow the development, resources and policies at play. We will convene these community co-researchers to identify recommendations and guidelines from a community perspective as another tool for communities to use in protecting individual data and ensuring trust between systems and communities.