Theo, um menino de 12 anos que é cego, está sentado a uma mesa em uma cozinha lotada em um dia cinza e gotejante de meados de dezembro. Uma fita para a cabeça que abriga câmeras, um sensor de profundidade e alto-falantes envolvem seu cabelo castanho-claro. Ele gira a cabeça para a esquerda e para a direita até que a câmera na frente da faixa de cabeça aponte para o nariz de uma pessoa do outro lado de um balcão.

Theo ouve um som de impacto seguido do nome "Martin" nos alto-falantes da faixa, que estão posicionados acima de suas orelhas.

"Levei cerca de cinco segundos para chegar até você, Martin, "Theo diz, sua cabeça e corpo fixos na direção de Martin Grayson, um engenheiro de desenvolvimento de software de pesquisa sênior do laboratório de pesquisa da Microsoft em Cambridge. Grayson está ao lado de um baú preto na altura do joelho que contém hardware de computação necessário para executar os modelos de aprendizado de máquina que alimentam o sistema de protótipo que Theo usou para reconhecê-lo.

Elin, A mãe de Theo, que está de pé contra uma parede do lado oposto de Theo, diz, "Eu amo a maneira como você se virou para encontrá-lo. É tão bom."

Quando Theo começa a se virar para encarar sua mãe, os alto-falantes soam outra batida e o nome "Tim".

"Tim, aí está você, "diz Theo com prazer quando seu olhar pousa em Tim Regan, outro engenheiro sênior de desenvolvimento de software de pesquisa no laboratório, que colocou Theo sob sua proteção para lhe ensinar habilidades avançadas de codificação de computador. Theo e sua mãe estavam na casa de Regan para uma aula de programação bimestral. Eles se conheceram enquanto trabalhavam em um projeto de pesquisa que levou ao desenvolvimento do Code Jumper, uma linguagem de programação física que inclui crianças com todos os níveis de visão.

Theo é agora um dos vários membros da comunidade de cegos e deficientes visuais que trabalham com Regan, Grayson, pesquisadora Cecily Morrison e sua equipe no Projeto Tóquio, um esforço de pesquisa multifacetado para criar tecnologia de agente pessoal inteligente que usa inteligência artificial para estender as capacidades existentes das pessoas.

Para Theo, isso significa ferramentas para reconhecer quem está ao seu redor.

"É tão emocionante poder descobrir onde as pessoas estão em meu ambiente, "Theo disse." Não apenas quem escolhe falar, mas todas as pessoas que estão em silêncio que você pode ver pelo rosto, mas eu não posso. "

Mas no final das contas, observou Morrison, O Projeto Tóquio é um esforço de pesquisa com o objetivo de longo prazo de demonstrar como construir agentes pessoais inteligentes que estendem as capacidades de todos os usuários. Em vez de construir sistemas ponta a ponta que podem realizar tarefas específicas, ela vê o futuro da IA ​​como um conjunto de recursos que as pessoas usam da maneira que acharem melhor.

"De repente, não temos que dizer, 'Ei, você é cego e acabei de tornar isso acessível para você.' Nós dizemos, 'Ei, você é você e eu acabei de construir um sistema que funciona para você, - disse ela. - Não preciso saber nada sobre você. Eu não preciso de uma etiqueta em você. Posso fazer algo que é certo para você porque tenho um sistema que você pode tomar e adaptar a si mesmo. "

Paraolimpíadas no brasil

O Projeto Tóquio nasceu de um desafio, no início de 2016, de líderes seniores da Microsoft para criar sistemas de IA que iriam além da conclusão de tarefas como obter resultados esportivos e previsões do tempo ou identificar objetos. Morrison disse que a criação de ferramentas para pessoas cegas e com baixa visão foi um ajuste natural para o projeto, porque as pessoas com deficiência são frequentemente os primeiros a adotar novas tecnologias.

"Não se trata de dizer, 'Vamos construir algo para cegos, '", Disse Morrison." Estamos trabalhando com pessoas cegas para nos ajudar a imaginar o futuro, e esse futuro é sobre novas experiências com IA. "

Morrison e seu colega Ed Cutrell, pesquisador principal sênior do laboratório de pesquisa da Microsoft em Redmond, Washington, foram escolhidos para liderar o projeto. Ambos têm experiência em projetar tecnologias com pessoas cegas ou com baixa visão e decidiram começar tentando entender como a tecnologia de um agente pode aumentar, ou estender, as capacidades desses usuários.

Para iniciar, eles acompanharam um grupo de atletas e espectadores com diversos níveis de visão em uma viagem do Reino Unido aos Jogos Paraolímpicos de 2016 no Rio de Janeiro, Brasil, observando como eles interagiam com outras pessoas enquanto navegavam nos aeroportos, frequentou eventos esportivos e foi passear, entre outras atividades. Um aprendizado chave, observou Cutrell, foi como uma compreensão enriquecida do contexto social poderia ajudar as pessoas cegas ou com baixa visão a entender seu ambiente.

"Nós, como humanos, tem muito isso, senso de compreensão social muito matizado e elaborado de como interagir com as pessoas - tendo uma noção de quem está na sala, o que eles estão fazendo, qual é a relação deles comigo, como faço para entender se eles são relevantes para mim ou não, "disse ele." E para os cegos, muitas das pistas que consideramos óbvias simplesmente desaparecem. "

Esse entendimento estimulou uma série de workshops com a comunidade de cegos e deficientes visuais focados em tecnologias potenciais que poderiam proporcionar essa experiência. Peter Bosher, um engenheiro de áudio com cerca de 50 anos que foi cego a maior parte de sua vida e trabalhou com a equipe do Projeto Tóquio, disse que o conceito de uma tecnologia que fornecia informações sobre as pessoas ao seu redor ressoou imediatamente.

“Sempre que estou em uma situação com mais de duas ou três pessoas, especialmente se eu não conheço alguns deles, torna-se exponencialmente mais difícil de lidar porque as pessoas usam cada vez mais o contato visual e a linguagem corporal para sinalizar que querem falar com tal ou qual pessoa, que eles querem falar agora, "disse ele." É realmente muito difícil para uma pessoa cega. "

Um HoloLens modificado

Assim que os pesquisadores do Projeto Tóquio compreenderam o tipo de experiência de IA que queriam criar, eles se propuseram a construir a tecnologia capacitadora. Eles começaram com o Microsoft HoloLens original, um fone de ouvido de realidade mista que projeta hologramas no mundo real que os usuários podem manipular.

"O HoloLens nos dá muito do que precisamos para construir um agente de IA em tempo real que pode comunicar o ambiente social, "disse Grayson durante uma demonstração da tecnologia no laboratório de pesquisa da Microsoft em Cambridge.

Por exemplo, o dispositivo possui uma série de câmeras em tons de cinza que fornecem uma visão de quase 180 graus do ambiente e uma câmera colorida de alta resolução para reconhecimento facial de alta precisão. Além disso, os alto-falantes acima dos ouvidos do usuário permitem áudio espacializado - a criação de sons que parecem vir de locais específicos ao redor do usuário.

Os especialistas em aprendizado de máquina da equipe do Projeto Tóquio desenvolveram algoritmos de visão computacional que fornecem vários níveis de informações sobre quem está onde no ambiente do usuário. Os modelos são executados em unidades de processamento gráfico, conhecido como GPUs, que estão alojados no baú preto que Grayson levou para a casa de Regan para o teste de usuário com Theo.

Um modelo, por exemplo, detecta a pose de pessoas no ambiente, que fornece uma noção de onde e a que distância as pessoas estão do usuário. Outro analisa o fluxo de fotos da câmera de alta resolução para reconhecer as pessoas e determinar se elas optaram por tornar seus nomes conhecidos pelo sistema. Todas essas informações são transmitidas ao usuário por meio de sinais de áudio.

Por exemplo, se o dispositivo detectar uma pessoa a um metro de distância do lado esquerdo do usuário, o sistema emitirá um clique que parece vir de um metro de distância à esquerda. Se o sistema reconhecer o rosto da pessoa, vai tocar um som de solavanco, e se essa pessoa também for conhecida pelo sistema, vai anunciar seu nome.

Quando o usuário ouve apenas um clique, mas deseja saber quem é a pessoa, uma segunda camada de som que se assemelha a um alongamento de faixa elástica orienta o olhar do usuário em direção ao rosto da pessoa. Quando a câmera central da lente se conecta ao nariz da pessoa, o usuário ouve um clique agudo e, se a pessoa é conhecida pelo sistema, o nome deles.

"Gosto particularmente daquilo que dá a você o ângulo do olhar, porque nunca tenho certeza de qual é o ângulo adequado para a sua cabeça estar, "disse Bosher, que trabalhou com a equipe do Projeto Tóquio na experiência de áudio no início do processo de design e voltou ao laboratório de Cambridge para discutir sua experiência e verificar a iteração mais recente. "Essa seria uma ótima ferramenta para aprender a linguagem corporal."

Prototipagem com adultos

À medida que a equipe do Projeto Tóquio desenvolveu e evoluiu a tecnologia, os pesquisadores convidam rotineiramente adultos cegos ou com baixa visão para testar o sistema e fornecer feedback. Para facilitar a interação social mais direta, por exemplo, a equipe removeu as lentes da frente do HoloLens.

Vários usuários expressaram o desejo de obter discretamente as informações coletadas pelo sistema, sem virar a cabeça constantemente, o que parecia socialmente estranho. O feedback levou a equipe do Projeto Tóquio a trabalhar em recursos que ajudem os usuários a aprender rapidamente quem está ao seu redor, por exemplo, pedir uma visão geral e obter uma leitura espacial de todos os nomes de pessoas que deram permissão para serem reconhecidas pelo sistema.

Outro recurso experimental alerta o usuário com um sinal sonoro espacializado quando alguém está olhando para ele, porque as pessoas com visão típica costumam estabelecer contato visual para iniciar uma conversa. Ao contrário do solavanco, Contudo, o sinal sonoro não é seguido por um nome.

"Já usamos o nome quando você olha para alguém, "Grayson explicou a Emily, uma testadora na casa dos 20 anos que tem baixa visão e visitou o laboratório de Cambridge para aprender sobre os recursos mais recentes. "Mas também, por não dar o nome, pode chamar sua atenção para alguém que está tentando chamar sua atenção. E voltando-se para eles, você descobre o nome deles. "

"Eu concordo totalmente com isso. É assim que as pessoas com visão reagem. Eles capturam alguém com o canto do olho, ou você entende, e ir, 'Cecily, “Emily disse.

O HoloLens modificado que os pesquisadores mostraram a Emily também incluía uma faixa de LED afixada acima da faixa das câmeras. Uma luz branca rastreia a pessoa mais próxima do usuário e fica verde quando a pessoa é identificada para o usuário. O recurso permite que os parceiros de comunicação ou observadores saibam que foram vistos, tornando mais natural iniciar uma conversa.

A faixa de LED também oferece às pessoas a oportunidade de sair do campo de visão do dispositivo e não serem vistas, se assim escolherem. "Quando você sabe que está prestes a ser visto, você também pode decidir não ser visto, "observou Morrison." Se você sabe quando está sendo visto, você sabe quando não está sendo visto. "

Uma ferramenta para ensinar habilidades de interação social

Conforme a pesquisa técnica continua, O Projeto Tóquio está explorando um caminho revelado no processo de pesquisa:usar a tecnologia para ajudar crianças cegas ou com baixa visão a desenvolver habilidades de interação social.

Dois terços das crianças cegas ou com baixa visão exibem comportamentos sociais que são consistentes com crianças que estão no espectro do autismo, de acordo com pesquisas acadêmicas. Por exemplo, muitas crianças cegas ou com baixa visão parecem desligadas dos parceiros de conversa, frequentemente apoiando a cabeça em uma mesa com a orelha exposta.

Morrison e Cutrell dinamizaram o Projeto Tóquio para explorar se uma versão reduzida do sistema poderia ser usada para ajudar crianças cegas ou com baixa visão a entender como podem usar seus corpos para iniciar e manter interações com as pessoas.

Como os pesquisadores da Microsoft já tinham um relacionamento com Theo, eles o recrutaram para ajudar a adaptar o sistema para funcionar com crianças, como explicar a tendência das crianças de se sentarem juntas e, ao mesmo tempo, raramente fica parado.

"Quando estava anunciando os nomes das pessoas, estava tentando anunciar dois nomes ao mesmo tempo e eu pedi que fosse mudado porque, basicamente, isso foi muito, muito dificil ouvir o nome de alguem, "Theo lembrou.

Os pesquisadores também exploraram como Theo usava o sistema. Por exemplo, durante uma refeição em família ele começou a sutilmente, mas repetidamente, Mova sua cabeça de um lado para o outro para forçar o sistema a ler os nomes das pessoas com quem ele estava falando.

"Acreditamos que ele estava usando isso para apoiar sua atenção espacial em relação a uma pessoa, atualizando sua memória de trabalho de onde ela estava, "Morrison disse." Isso é algo que nunca poderíamos ter previsto, mas uma estratégia muito poderosa para ajudá-lo a manter sua atenção, e se ele pode manter sua atenção, ele pode manter um tópico de conversa. "

Outros usos da tecnologia estavam mais de acordo com a hipótese dos pesquisadores de que o ajudaria a desenvolver habilidades para interagir socialmente em um mundo dominado por pessoas que enxergam.

Por exemplo, como outras crianças cegas ou com baixa visão, Theo colocava a cabeça na mesa durante situações sociais, uma orelha inclinada para o mundo. Os pesquisadores jogaram uma série de jogos com Theo destinados a destacar o poder social que poderia advir do uso de seu corpo e cabeça para conversar com pessoas que enxergam.

Em um jogo jogado no laboratório, os pesquisadores tinham um problema de grupo para resolver. Theo sabia a resposta. Os pesquisadores só conheciam o assunto e só podiam falar quando Theo olhava para eles. Quando Theo desviou o olhar, eles tiveram que parar de falar.

"De repente, ele percebeu que pode manter uma conversa, "Morrison disse." Ele veio a entender o poder de ser capaz de olhar para alguém, o poder que deu a ele em uma conversa e com isso ele habilitou todo um novo conjunto de capacidades sociais que ele não tinha sido capaz de alcançar antes. "

Hoje, Theo raramente fala com a cabeça na mesa. Quer esteja usando o HoloLens modificado ou não, ele vira seu corpo e rosto em direção à pessoa que deseja engajar. Não se sabe se a mudança persistirá por longo prazo, os pesquisadores também não têm certeza se outras crianças cegas ou com baixa visão responderão da mesma forma.

"Pelo que estamos vendo com Theo, temos um bom pressentimento sobre isso, porque vimos isso com ele, mas esse é o caso de um. E quem sabe se isso teria acontecido de qualquer maneira, "Cutrell disse." É por isso que estamos avançando para a próxima fase, que contemplará um número consideravelmente maior de crianças e também uma faixa etária mais ampla. "

Futuro de Tóquio

O esforço de pesquisa mais amplo do Projeto Tóquio continua, incluindo novas direções no aprendizado de máquina que permitem aos usuários adaptar o sistema às suas preferências pessoais. Sebastian Tschiatschek, um pesquisador de aprendizado de máquina no laboratório de Cambridge, está trabalhando em recursos que permitem aos usuários mostrar ao sistema o tipo e a quantidade de informações que desejam ouvir.

O desenvolvimento da personalização está exigindo que Tschiatschek adote uma abordagem não convencional para o aprendizado de máquina.

"O que gostamos de fazer é formalizar um problema de alguma forma matemática, "ele disse." Você não pode fazer isso tão facilmente neste problema. Muito do desenvolvimento vem por meio de experiências, ter essa interação com as pessoas, vendo o que eles gostam, não gosto, e aprimorando os algoritmos. "

O desejo de personalização, ele explicou, existe porque as pessoas cegas ou com baixa visão têm diferentes níveis de visão e, portanto, diferentes necessidades de informação. O que mais, os usuários do sistema ficam frustrados quando ele fornece informações que já conhecem.

"Para concretizar a visão do Projeto Tóquio, você tem que combinar tantas coisas que não são resolvidas sozinhas, "Tschiatschek disse.

Em última análise, O Projeto Tóquio tem como objetivo demonstrar como construir agentes pessoais inteligentes que estendem as capacidades de todos os usuários. Para chegar lá, Morrison, Cutrell e seus colegas continuarão a trabalhar com pessoas cegas ou com baixa visão, incluindo mais crianças.

"O que vimos com Theo é muito poderoso, "Morrison disse em seu escritório no dia seguinte ao teste do sistema na casa de Regan." Foi poderoso porque ele estava no controle de seu mundo de uma maneira que ele não poderia estar antes.

Entre o grupo em expansão de crianças para participar do Projeto Tóquio está o filho de 7 anos de Morrison, Ronan, que é cego desde o nascimento.

"Acho que veremos isso com Ronan, "Ela acrescentou." Estou super animada para tentar. "