As tecnologias avançadas oferecem benefícios todos os dias. Mas, às vezes, as interações com a tecnologia podem dar errado e levar ao desastre.

Em 10 de março, os pilotos a bordo do voo 302 da Ethiopian Airlines foram incapazes de corrigir uma falha em um dos sistemas automatizados do Boeing 737 Max 8, resultando em um acidente e na morte de todos os passageiros e tripulantes. Um ano antes, quase até o dia, outro veículo automatizado - não um avião, mas um carro autônomo Uber - atingiu e matou Elaine Herzberg em Tempe, Arizona.

Como especialistas em como humanos e tecnologias interagem, sabemos que é impossível eliminar completamente o risco em sistemas tecnológicos complexos. Essas tragédias são o resultado de reguladores e especialistas da indústria que negligenciam as complexidades e riscos das interações entre tecnologias e humanos e cada vez mais contando com a autoavaliação voluntária das empresas. ao invés de objetivo, testes independentes. Tragicamente, isso parece ter acontecido com a aeronave da Boeing e o carro do Uber.

Negócio arriscado

A queda do voo 302 da Ethiopian Airlines, bem como do Lion Air Flight 610 em 2018, aconteceu apesar da supervisão de um dos reguladores mais tecnologicamente capazes do mundo. As viagens aéreas são notavelmente seguras à luz dos riscos potenciais.

Antes do 737 Max 8 decolar, teve de passar por uma série de inspeções da Federal Aviation Administration. Ao longo desse processo, A Boeing convenceu a FAA de que o sistema automatizado era mais seguro do que realmente era, e que os pilotos precisariam de muito pouco treinamento no novo avião.

A FAA liberou o 737 Max 8 e seu sistema de controle de vôo para voar - e manteve essa autorização não apenas após o acidente da Lion Air, mas também por três dias após a tragédia da Ethiopian Airlines.

De aviões a automóveis

À medida que a automação de aviões está aumentando, o mesmo vale para carros. Várias empresas estão testando veículos autônomos em estradas de todo o país - e com muito menos supervisão do que a indústria da aviação. As regras locais e federais são limitadas, muitas vezes em nome da promoção da inovação. As diretrizes federais de segurança para veículos autônomos exigem que eles passem apenas pelos mesmos testes de desempenho de qualquer outro carro, como padrões mínimos de economia de combustível, configurações do cinto de segurança e como eles protegerão os ocupantes em uma colisão.

Não há teste de confiabilidade de seus sensores, muito menos seus algoritmos. Alguns estados exigem que as empresas relatem "desligamentos" - quando o chamado "driver de segurança" retoma o controle do sistema automatizado. Mas, principalmente, as empresas de automóveis autônomos têm permissão para fazer o que quiserem, desde que haja uma pessoa ao volante.

Nos meses anteriores à colisão de março de 2018, O Uber estava sob pressão para alcançar a GM Cruise e Waymo. Os carros do Uber tinham um sistema de reconhecimento de objetos sensível, que às vezes seria enganado por uma sombra na estrada e frearia para evitar um obstáculo que não estava realmente lá. Isso resultou em um passeio de parar e começar. Para suavizar as coisas, Os engenheiros do Uber desativaram o sistema de freios de emergência do carro. A empresa parece ter assumido que o único motorista de segurança sempre seria capaz de parar o carro a tempo se realmente houvesse o perigo de bater em algo.

Não foi isso que aconteceu quando Elaine Herzberg atravessou a rua. O carro autônomo do Uber que a atingiu e matou a viu com seus sensores e câmeras, mas não conseguiu parar por conta própria. O motorista de segurança parece ter se distraído com seu telefone - o que viola as políticas do Uber, embora não esteja claro como a empresa informou seus motoristas de segurança sobre a mudança para o sistema automatizado.

Policiando-se

Os reguladores estão confiando em práticas de autoavaliação de segurança, por meio do qual as empresas privadas garantem a conformidade de seus próprios produtos com os padrões federais. As melhores garantias que eles - e o público em geral - têm da segurança e confiabilidade desses veículos são as garantias das empresas que pretendem vendê-los.

Os relatórios que as empresas fornecem podem ser escassos em evidências concretas, divulgando o número de milhas reais e simuladas percorridas, sem detalhes de como os carros estão se saindo em várias condições. E as montadoras estão constantemente lançando novos modelos e atualizando seus softwares, forçando motoristas humanos a aprender sobre os novos recursos.

Isso é ainda mais enervante porque há muito mais carros nas estradas do que aviões no ar - 270 milhões de carros registrados apenas nos EUA, em comparação com 25, 000 aeronaves comerciais em todo o mundo. Além disso, carros autônomos precisam lidar não apenas com as condições climáticas, mas também com interações de curta distância com outros carros, pedestres, ciclistas e e-scooters. Os motoristas de segurança não recebem quase a mesma quantidade de treinamento que os pilotos recebem, qualquer.

Arizona, onde estamos baseados, é um local popular para testes públicos de veículos autônomos, em parte por causa da supervisão mais frouxa do que em outros estados. Na área de Phoenix, Contudo, há uma preocupação crescente do público com a segurança. Alguns cidadãos estão assediando veículos autônomos na tentativa de desencorajá-los de dirigir em seus bairros. Como um residente do Arizona disse ao The New York Times, a indústria de veículos autônomos "disse que precisa de exemplos do mundo real, mas não quero ser o erro do mundo real. "

Conectando-se com o público, inovando com responsabilidade

Na ausência de padrões de segurança federais para veículos autônomos, Estados e governos locais são deixados para proteger o público - muitas vezes sem a experiência e os recursos para fazer isso de forma eficaz. In our view, this doesn't mean banning the technology, but rather insisting on corporate transparency and true regulatory oversight.

Engaging the public about what's happening and who is – and isn't – protecting their safety can help officials at all levels of government understand what their citizens expect, and push them to ensure that technological innovation is done responsibly.

Universities can play an important role in supporting responsible innovation on these issues. The Arizona State University Center for Smart Cities and Regions is working with the Consortium for Science, Policy and Outcomes to host public forums on self-driving cars in cities across the U.S. and Europe.

Airplane and car passengers need to trust their vehicles and understand what risks are unavoidable – as well as what can be prevented. Relying on industry to self-regulate when lives and public trust are at stake is not a viable path to ensure that rapidly emerging innovations are developed and deployed responsibly. To the riders, customers and others sharing the road and the skies, there is only one bottom line – and it doesn't have a dollar sign attached to it.

Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.