Um novo sistema de software desenvolvido por pesquisadores da Brown University transforma telefones celulares em portais de realidade aumentada, permitindo que os usuários coloquem blocos de construção virtuais, móveis e outros objetos em cenários do mundo real, e usar as mãos para manipular esses objetos como se eles realmente estivessem lá.

Os desenvolvedores esperam que o novo sistema, chamado Portal-ble, pode ser uma ferramenta para artistas, designers, desenvolvedores de jogos e outros para experimentar a realidade aumentada (AR). A equipe apresentará o trabalho no final deste mês no Simpósio ACM sobre Software e Tecnologia de Interface do Usuário (UIST 2019) em New Orleans. O código-fonte do Andriod está disponível gratuitamente para download no site dos pesquisadores, e o código do iPhone virá em breve.

"A RA será um ótimo novo modo de interação, "disse Jeff Huang, um professor assistente de ciência da computação na Brown que desenvolveu o sistema com seus alunos. "Queríamos fazer algo que tornasse o RA portátil para que as pessoas pudessem usar em qualquer lugar sem fones de ouvido volumosos. Também queríamos que as pessoas pudessem interagir com o mundo virtual de uma forma natural usando as mãos."

Huang disse que a ideia da interação "prática" do Portal-ble surgiu de alguma frustração com aplicativos de RA como o Pokémon GO. Os aplicativos de RA usam smartphones para colocar objetos virtuais (como personagens Pokémon) em cenas do mundo real, mas a interação com esses objetos exige que os usuários percorram a tela.

"Deslizar não era uma forma satisfatória de interagir, "Huang disse." No mundo real, interagimos com objetos com nossas mãos. Viramos maçanetas, pegar coisas e jogar coisas. Portanto, pensamos que manipular objetos virtuais manualmente seria muito mais poderoso do que deslizar. Isso é o que é diferente no Portal-ble. "

A plataforma faz uso de um pequeno sensor infravermelho montado na parte traseira de um telefone. O sensor rastreia a posição das mãos das pessoas em relação aos objetos virtuais, permitindo que os usuários peguem objetos, vire-os, empilhá-los ou largá-los. Também permite que as pessoas usem as mãos para "pintar" virtualmente em cenários do mundo real. Como demonstração, Huang e seus alunos usaram o sistema para pintar um jardim virtual em um espaço verde no campus de Brown's College Hill.

Huang diz que a principal contribuição técnica do trabalho foi desenvolver as acomodações e ferramentas de feedback certas para permitir que as pessoas interajam intuitivamente com objetos virtuais.

"Acontece que pegar um objeto virtual é muito difícil se você tentar aplicar a física do mundo real, "Huang disse." As pessoas tentam agarrar no lugar errado, ou colocam os dedos nos objetos. Então, tivemos que observar como as pessoas tentavam interagir com esses objetos e, em seguida, tornar nosso sistema capaz de acomodar essas tendências. "

Fazer isso, Huang alistou alunos em uma classe que estava ensinando para apresentarem tarefas que eles poderiam querer fazer no mundo da RA - empilhar um conjunto de blocos, por exemplo. Os alunos então pediram a outras pessoas para tentar realizar essas tarefas usando o Portal-ble, enquanto registra o que as pessoas foram capazes de fazer e o que não puderam. Eles poderiam então ajustar a física do sistema e a interface do usuário para tornar as interações mais bem-sucedidas.

"É um pouco como o que acontece quando as pessoas desenham linhas no Photoshop, "Huang disse." As linhas que as pessoas desenham nunca são perfeitas, mas o programa pode suavizá-los e torná-los perfeitamente retos. Esses eram os tipos de acomodações que estávamos tentando fazer com esses objetos virtuais. "

A equipe também adicionou feedback sensorial - destaques visuais em objetos e vibrações do telefone - para tornar as interações mais fáceis. Huang disse que ficou um pouco surpreso com o fato de que as vibrações do telefone ajudaram os usuários a interagir. Os usuários sentem as vibrações na mão que estão usando para segurar o telefone, não na mão que está realmente agarrando o objeto virtual. Ainda, Huang disse, o feedback de vibração ainda ajudou os usuários a interagir com mais sucesso com os objetos.

Em estudos de acompanhamento, os usuários relataram que as acomodações e feedback usados ​​pelo sistema tornaram as tarefas significativamente mais fáceis, menos demorado e mais satisfatório.

Huang e seus alunos planejam continuar trabalhando com o Portal-ble, expandindo sua biblioteca de objetos, refinando as interações e desenvolvendo novas atividades. Eles também esperam simplificar o sistema para que funcione inteiramente em um telefone. Atualmente, o sensor infravermelho requer um sensor infravermelho e um bastão de computação externo para poder de processamento extra.

Huang espera que as pessoas baixem o código-fonte disponível gratuitamente e experimentem por si mesmas.

"Nós realmente queremos apenas divulgar isso e ver o que as pessoas fazem com isso, "disse ele." O código está em nosso site para as pessoas baixarem, editar e construir. Será interessante ver o que as pessoas farão com isso. "