Drones, especificamente quadricópteros, são um lote adaptável. Eles têm sido usados ​​para avaliar os danos após desastres, entregar cordas e coletes salva-vidas em áreas muito perigosas para equipes de resgate em solo, inspecionar edifícios em chamas e entregar espécimes médicos.

Mas para atingir todo o seu potencial, eles têm que ser fortes. No mundo real, drones são forçados a navegar por formas incertas em edifícios em colapso, evitar obstáculos e lidar com condições desafiadoras, incluindo tempestades e terremotos.

No Departamento de Ciência da Computação da Escola de Engenharia de Engenharia da USC Viterbi, pesquisadores criaram drones com inteligência artificial que podem se recuperar rapidamente quando pressionados, chutado ou ao colidir com um objeto. O drone autônomo "aprende" como se recuperar de uma série de situações desafiadoras lançadas nele durante um processo de simulação.

"Atualmente, os controladores projetados para estabilizar quadricópteros requerem um ajuste cuidadoso e, mesmo assim, eles são limitados em termos de robustez à interrupção e são específicos do modelo, "disse o principal autor do estudo, Artem Molchanov, um Ph.D. Doutorando em Ciência da Computação no Laboratório de Sistemas Embarcados de Robótica da USC.

"Estamos tentando eliminar este problema e apresentar uma abordagem que aproveita os avanços recentes no aprendizado por reforço para que possamos eliminar completamente os controladores de ajuste manual e tornar os drones super robustos a interrupções."

O papel, denominado "Sim-para- (Multi) -Real:Transferência de Políticas de Controle Robusto de Baixo Nível para Quadrotores Múltiplos, "foi apresentado na Conferência Internacional sobre Robôs e Sistemas Inteligentes.

Os co-autores foram Tao Chen, Estudante de mestrado em ciência da computação da USC; Wolfgang Honig, um ex-Ph.D. em ciência da computação da USC aluna; James A. Preiss, um Ph.D. em ciência da computação aluna; Nora Ayanian, Professor assistente de ciência da computação da USC e cadeira de início de carreira Andrew e Erna Viterbi; e Gaurav Sukhatme, professor de ciência da computação e engenharia elétrica e da computação e vice-reitor executivo da USC Viterbi.

Aprendendo a voar

Os roboticistas têm se voltado para os pássaros como inspiração para voar há anos. Mas os drones têm um longo caminho a percorrer antes de serem tão ágeis quanto seus equivalentes emplumados. Quando um drone termina em uma orientação indesejável, como de cabeça para baixo, pode ser difícil para ele se corrigir. "Um drone é um sistema inerentemente instável, "disse Molchanov.

"Controlar um drone requer muita precisão. Especialmente quando ocorre algo repentino, você precisa de uma sequência rápida e precisa de entradas de controle. "Mas, se um drone foi capaz de aprender com a experiência, como humanos, seria mais capaz de superar esses desafios.

Com isso em mente, a equipe de pesquisadores da USC criou um sistema que usa um tipo de aprendizado de máquina, um subconjunto da inteligência artificial, chamado aprendizado por reforço para treinar o drone em um ambiente simulado. Mais precisamente, para treinar o "cérebro do drone, "ou controlador de rede neural.

"O aprendizado por reforço é inspirado na biologia - é muito semelhante a como você pode treinar um cão com uma recompensa quando ele completa um comando, "disse Molchanov.

Claro, drones não recebem lanches. Mas no processo de aprendizagem por reforço, eles recebem uma recompensa algorítmica:um sinal de reforço matemático, qual é o reforço positivo que usa para inferir quais ações são mais desejáveis.

Aprendizagem em simulação

O drone começa no modo de simulação. Inicialmente, não sabe nada sobre o mundo ou o que está tentando alcançar, disse Molchanov. Tenta pular um pouco ou girar no chão.

Eventualmente, aprende a voar um pouco e recebe o sinal de reforço positivo. Gradualmente, através deste processo, ele sabe como se equilibrar e, finalmente, voar. Então, as coisas ficam mais complicadas.

Ainda na simulação, os pesquisadores jogam condições aleatórias no controlador até que ele aprenda a lidar com elas com sucesso. Eles adicionam ruído à entrada para simular um sensor realista. Eles mudam o tamanho e a força do motor e empurram o drone de diferentes ângulos.

Ao longo de 24 horas, o sistema processa 250 horas de treinamento do mundo real. Como rodinhas, o aprendizado no modo de simulação permite que o drone aprenda por conta própria em um ambiente seguro, antes de ser lançado na selva. Eventualmente, ela encontra soluções para todos os desafios colocados em seu caminho.

"Na simulação, podemos executar centenas de milhares de cenários, "disse Molchanov.

"Continuamos mudando ligeiramente o simulador, o que permite ao drone aprender a se adaptar a todas as possíveis imperfeições do ambiente. "

Um desafio do mundo real

Para provar sua abordagem, os pesquisadores moveram o controlador treinado para drones reais desenvolvidos no laboratório de coordenação automática de equipes de Ayanian. Em uma instalação interna de drones com rede, eles voaram nos drones e tentaram jogá-los para longe, chutando-os e empurrando-os.

Os drones foram bem-sucedidos em se corrigirem de golpes moderados (incluindo empurrões, chutes leves e colidindo com um objeto) 90% do tempo. Depois de treinado em uma máquina, o controlador foi capaz de generalizar rapidamente para quadricópteros com dimensões diferentes, pesos e tamanhos.

Enquanto os pesquisadores se concentraram na robustez deste estudo, eles ficaram surpresos ao descobrir que o sistema também teve um desempenho competitivo em termos de rastreamento de trajetória - movendo-se do ponto A para B para C. Embora não seja especificamente treinado para este propósito, parece que o treinamento de simulação rigoroso também equipou o controlador para seguir um alvo em movimento com precisão.

Os pesquisadores observam que ainda há trabalho a ser feito. Neste experimento, eles ajustaram manualmente alguns parâmetros nos drones, por exemplo, limitando o empuxo máximo, mas o próximo passo é tornar os drones completamente independentes. O experimento é um movimento promissor para a construção de drones robustos que podem se ajustar e aprender com a experiência.

Professor Sukhatme, Conselheiro de Molchanov e Presidente da Fundação Fletcher Jones em Ciência da Computação, disse que a pesquisa resolve dois problemas importantes na robótica:robustez e generalização.

"Do ponto de vista da segurança, robustez é super importante. Se você está construindo um sistema de controle de vôo, não pode ser frágil e se desfazer quando algo dá errado, "disse Sukhatme.

"A outra coisa importante é a generalização. Às vezes, você pode construir um sistema muito seguro, mas será muito especializado. Esta pesquisa mostra o quão maduro e bem-sucedido é um Ph.D. o aluno pode alcançar, e estou muito orgulhoso de Artem e da equipe que ele montou. "