Visão geral do sistema ROBOTURK. O ROBOTURK permite o aprendizado rápido de habilidades guiadas por imitação. Este sistema consiste nas seguintes etapas principais:1) especificação de uma tarefa, 2) coletar um grande conjunto de demonstrações de tarefas usando ROBOTURK, 3) usando aprendizagem por reforço de demonstração para aprender uma política, e 4) implantar a habilidade aprendida no domínio de interesse. Crédito:Mandlekar et al.
O aprendizado por imitação é um ramo do aprendizado de máquina que treina máquinas para imitar o comportamento humano ao realizar tarefas específicas. Essas técnicas são muito promissoras no campo da robótica, à medida que abordam algumas das deficiências da aprendizagem por reforço, como exploração e especificação de recompensa.
Apesar dos resultados encorajadores, os estudos de aprendizagem por imitação até agora foram limitados a conjuntos de dados de tamanho modesto devido às dificuldades em coletar grandes quantidades de demonstrações de tarefas usando os métodos existentes. Para lidar com essas limitações, uma equipe de pesquisadores supervisionados pelo Dr. Silvio Savarese e Dr. Fei-Fei Li da Universidade de Stanford desenvolveram o RoboTurk, uma plataforma de crowdsourcing para teleoperação de alta qualidade baseada em trajetória 6-DoF usando smartphones amplamente disponíveis.
"Queríamos criar algo como ImageNet for Robotics, "Ajay Mandlekar, um dos pesquisadores que realizou o estudo, disse TechXplore. "Acreditamos que os dados são uma limitação importante no campo da aprendizagem de robôs. Embora existam muitos métodos que aprendem com os dados, como controle orientado por dados e aprendizado por reforço, a maioria dos métodos coleta seus próprios dados. Como resultado, os dados costumam ser de baixa qualidade, por exemplo, resultando no robô movendo seu braço aleatoriamente. Este tipo de exploração pode ser difícil e inseguro, mas acreditamos que os humanos podem ajudar. "
ImageNet é um banco de dados de imagens renomado criado pelo Dr. Li, comumente usado em pesquisa de visão computacional e reconhecimento de objetos. A plataforma de crowdsourcing desenvolvida pela Stanford Vision and Learning Lab foi projetada para servir como um recurso semelhante para estudos de robótica e aprendizagem por imitação.
"Ao contrário do ImageNet, tal sistema de coleta de dados precisava ser dinâmico, nos permitindo coletar dados repetidamente, frequentemente sob demanda, e talvez até usando aprendizagem colaborativa, "Yuke Zhu, que também esteve envolvido no desenvolvimento do Roboturk, disse TechXplore. "Isso ocorre porque os dados coletados dependem de quais tipos de ações o robô realiza no ambiente."
Diagrama do sistema ROBOTURK. Um novo usuário se conecta a um site para ingressar no sistema, e um servidor de coordenação lança um servidor de teleoperação dedicado para o usuário, conforme mostrado em (a). O servidor de coordenação, então, estabelece canais de comunicação direta entre o navegador da web do usuário e o iPhone e o servidor de teleoperação para iniciar a sessão de teleoperação. O usuário controla o robô simulado movendo seu telefone, e recebe um stream de vídeo como feedback em seu navegador da web, como mostrado em (b). Depois de cada demonstração de sucesso, o servidor de teleoperação envia os dados coletados para um sistema de armazenamento em nuvem. Crédito:Mandlekar et al.
O objetivo final dos pesquisadores é treinar robôs em habilidades avançadas de manipulação, permitindo que eles concluam tarefas em ambientes industriais, como embalagem ou montagem. Eles descobriram que, embora a aprendizagem por imitação mostrasse um grande potencial neste contexto, Os conjuntos de dados existentes eram muito limitados devido às dificuldades em coletar grandes quantidades de demonstrações de tarefas.
"Em outros domínios, como visão computacional e processamento de linguagem natural, a supervisão em grande escala para conjuntos de dados é frequentemente coletada com a ajuda de crowdsourcing, "Mandlekar disse." Isso permite um mecanismo escalonável para supervisão humana diversa em um amplo conjunto de instâncias de problemas. Contudo, coletar grandes quantidades de dados tem sido um desafio para tarefas de robótica, pois exigem interação em tempo real e feedback dos anotadores, colocando restrições difíceis em plataformas de teleoperação remotas. "
O grupo do Stanford Vision and Learning Lab desenvolveu o RoboTurk, uma plataforma de crowdsourcing que permite aos pesquisadores aumentar as habilidades e tarefas que os robôs podem realizar de forma autônoma, através do uso de supervisão humana escalonável. Via RoboTurk, trabalhadores remotos podem entrar em um site e coletar demonstrações de tarefas, usando seu smartphone como um controlador de movimento.
"RoboTurk é suportado por um back-end de simulação baseado em nuvem que transmite vídeo para o navegador da web de um cliente usando protocolos de comunicação de baixa latência, "Mandlekar explicou." Isso garante qualidade homogênea de serviço, independentemente dos recursos de computador do cliente, resultando em uma plataforma de uso intuitivo e com baixa barreira de entrada, quais são os requisitos essenciais de uma tarefa de crowdsourcing. RoboTurk oferece suporte a vários robôs, tarefas, e simuladores, e pode ser facilmente estendido para apoiar outras pessoas. "
Os pesquisadores avaliaram sua plataforma em três tarefas de manipulação de durações variadas, variando de 15 a 120 segundos. Eles descobriram que o RoboTurk compartilhava semelhanças estatísticas com hardware para fins especiais, como controladores de realidade virtual. Eles também observaram que as más condições da rede não afetaram substancialmente a capacidade dos usuários de realizar tarefas com êxito na plataforma. Usando RoboTurk, eles coletaram 137,5 horas de manipulação de dados de funcionários remotos, com mais de 2.200 demonstrações de tarefas bem-sucedidas em 22 horas de uso total do sistema.
Crédito:Mandlekar et al.
"Acho que a parte mais significativa da plataforma é como ela permitirá que humanos e robôs interajam, "Animesh Garg, aluno de pós-doutorado liderando o projeto, disse TechXplore. "Os robôs são as ferramentas inteligentes do futuro. Não devemos pensar neles como um substituto para os humanos, mas sim como uma forma de ampliar nossas capacidades. Isso capacita os humanos a serem mais produtivos e a se concentrar em problemas de inteligência de nível superior, da mesma forma que o advento dos computadores tornou mais fácil para as pessoas usarem a matemática como uma ferramenta para resolver problemas de interesse. "
O RoboTurk habilita efetivamente o aprendizado de políticas em tarefas de manipulação de várias etapas com recompensas esparsas. Além disso, Mandlekar e seus colegas descobriram que o uso de grandes quantidades de demonstrações durante o aprendizado de políticas teve benefícios notáveis, levando a um melhor desempenho e maior consistência de aprendizagem.
No futuro, RoboTurk pode se tornar um recurso fundamental no campo da robótica, auxiliando no desenvolvimento de robôs mais avançados e de melhor desempenho. Os pesquisadores agora estão aplicando RoboTurk a robôs reais, ao mesmo tempo que desenvolve algoritmos que podem usar os dados coletados para ensinar habilidades de baixo nível aos robôs.
"Os robôs são uma tecnologia muito interessante que permitirá que as pessoas sejam mais produtivas e independentes em todas as esferas da atividade humana, por exemplo, ajudando na cozinha, cuidadores para a população idosa, e melhor atendimento aos pacientes, "Disse Garg." Uma das coisas que nos entusiasma é a democratização da manufatura. Essa tecnologia pode permitir que as pessoas façam e vendam produtos personalizados sem a necessidade de equipamentos para fins especiais, assim como o YouTube democratizou a criação e distribuição de conteúdo, permitindo que qualquer pessoa crie e compartilhe vídeos. "
© 2018 Science X Network
