Quase quarenta mil pessoas perderam a vida em acidentes de carro no ano passado, apenas nos EUA. Só podemos presumir que muitas dessas fatalidades foram devidas às nossas fragilidades exclusivamente humanas:direção distraída, dirigindo sob influência, ou simples inexperiência. Faz sentido tirar os motoristas humanos das estradas o mais rápido possível, e deixar que as máquinas conduzam.

Esse é um argumento, qualquer forma. Há também um argumento convincente para parar e considerar as questões éticas que surgem com essa nova tecnologia. Quer se trate de carros autônomos ou um aplicativo de compartilhamento de selfies com proteções de privacidade questionáveis, a pressa em entregar inovações ao mercado muitas vezes põe de lado as considerações éticas - mas vários professores da Duke ECE estão recuando.

A professora da Duke ECE, Missy Cummings, é uma ex-piloto de caça da Marinha que agora dirige o Laboratório de Autonomia e Humanos, ou HAL. Sua pesquisa se concentra em maximizar a cooperação humana e máquina para obter resultados e desempenho ideal, e ela é uma "tecno-realista" declarada quando se trata da ideia de que estamos quase prontos para que carros altamente autônomos cheguem às estradas.

"Carros sem motorista podem reduzir drasticamente as mortes nas estradas, mas atualmente, sistemas de visão por computador nesses carros são extremamente frágeis, e não está pronto para dirigir sem supervisão, "disse Cummings." Nós sabemos que longas sombras, ângulos baixos do sol, e até um quarto de polegada de neve pode fazer com que esses sistemas falhem, às vezes de forma catastrófica - portanto, ainda estamos a 10 ou mais anos de alcançar os recursos completos sem motorista. "

Os fabricantes gastaram cerca de US $ 80 bilhões em pesquisa e desenvolvimento de veículos autônomos até o momento. O tamanho desse investimento vem com pressão de igual magnitude; os investimentos precisam ser recompensados, e há um claro interesse em levar a tecnologia para um mercado ávido. Ainda, as deficiências dos sistemas AV atuais estão bem documentadas. Eles são vulneráveis ​​a hackers. Eles não são bons em tarefas de inferência - por exemplo, saber que uma bola que rola na estrada provavelmente será seguida por uma criança que a persegue. Esses tipos de erros de conhecimento e habilidade, observou Cummings, faria com que um motorista humano fosse reprovado em um teste de carteira de motorista - mas não existe atualmente nenhum teste de "visão por computador" equivalente que examine as habilidades de raciocínio dos carros sem motorista.

Apesar das capacidades duvidosas dos sistemas autônomos e da falta de processos para testar e certificar veículos altamente autônomos, Contudo, eles já tomaram nossos caminhos - no que são experiências essencialmente em grande escala envolvendo o público sem seu consentimento explícito.

Cummings disse que o desejo de alcançar veículos totalmente autônomos é necessário para fazer as melhorias incrementais que nos levarão até lá, eventualmente. Mas levar a tecnologia para o mundo antes que ela possa ser regulada com eficácia, ela avisou, é irresponsável e perigoso.

É um problema que vai muito além do setor de AV.

A professora Cynthia Rudin dirige o Laboratório de Predição e Análise da Duke, e ela é uma especialista em aprendizado de máquina, especificamente, ela é especialista na construção de algoritmos de aprendizado de máquina interpretáveis, em um mundo cada vez mais obcecado por modelos de caixa preta.

"Um modelo preditivo de caixa preta é um modelo muito complicado para um ser humano entender, ou uma fórmula proprietária, o que significa que está escondido por uma empresa, ", disse Rudin. Os algoritmos de caixa preta são comumente usados ​​em aplicativos de baixo risco, como varejo, onde sua idade, renda, ocupação, histórico de compras, e uma centena de outros dados informam a decisão de mostrar a você um anúncio de passagens aéreas ou vitaminas.

Mais problemáticos são os modelos de caixa preta usados ​​em decisões de alto risco, como avaliar o risco de crédito e estabelecer liberdade condicional. Essas decisões podem afetar profundamente a vida das pessoas, estressado Rudin, e é difícil para alguém a quem foi negada a liberdade condicional contestar a decisão se for impossível ver como a decisão foi tomada.

O laboratório de Rudin é especializado no desenvolvimento simples, modelos interpretáveis ​​que são mais precisos do que os modelos de caixa preta atualmente usados ​​pelo sistema de justiça. De acordo com Rudin, você nem precisa de uma calculadora para computá-los.

"Existe uma crença generalizada de que, porque um modelo é uma caixa preta, é mais preciso, "disse Rudin." E isso, tanto quanto eu posso dizer, está errado. Eu trabalhei em muitas aplicações diferentes - em cuidados médicos, em energia, em risco de crédito, na reincidência criminal - e nunca encontramos um aplicativo em que realmente precisássemos de uma caixa preta. Sempre podemos usar um modelo interpretável para um problema de decisão de alto risco. "

O entusiasmo por modelos de caixa preta, disse Rudin, deve ser moderado pela consideração cuidadosa das possíveis ramificações.

"Muitas vezes, a comunidade acadêmica não treina cientistas da computação nos tópicos certos, "disse Rudin." Não os treinamos em estatísticas básicas, por exemplo. Não os treinamos em ética. Então, eles desenvolvem essa tecnologia sem se preocupar com a sua utilização. E isso é um problema. "

Este ano, A Duke Engineering estabeleceu o Lane Family Ethics in Technology Program, que irá incorporar a educação ética nos currículos de engenharia e ciência da computação. O programa oferece suporte ao conteúdo do curso ministrado pelo corpo docente, atividades extracurriculares e um simpósio anual voltado para a ética em tecnologia.

Stacy Tantum, the Bell-Rhodes Associate Professor of the Practice of Electrical and Computer Engineering, will lead one of the program's first courses this fall. Tantum will work with Amber Díaz Pearson, a research scholar at Duke's Kenan Institute for Ethics, to integrate ethics-focused modules into ECE 580, Introduction to Machine Learning.

Three elements of ethical algorithm development will be emphasized in the course, said Tantum. First is transparency, or why others should be able to easily evaluate all aspects of algorithm design, from the input training data and algorithmic assumptions, to the selection of algorithmic parameters, to the process by which predicted performance is evaluated. Second is algorithmic bias—the conditions that are likely to result in bias, but which are often overlooked, or deemed unimportant. And third is unintended use-cases of algorithms—the potential pitfalls of re-purposing algorithms for use-cases other than those for which they were designed.

"Our goal is to lead students to incorporate ethical considerations as a natural part of algorithm development, not an afterthought to be considered only after an unintended or unanticipated consequence arises, " said Tantum.