Abhishek Singh faz uma pergunta simples:Se a voz é o futuro da computação, o que dizer daqueles que não podem ouvir? Alexa está atenta à comunidade surda, graças a um protótipo de aplicativo que, sem dúvida, atrairá algum interesse e inspiração.

Afinal, especialistas em observação de tecnologia disseram que a tecnologia de voz figura bem em nosso futuro de computação; como a BBC News disse, "Nos últimos anos, assistimos a um aumento da popularidade dos assistentes de voz administrados pela Amazon, Google e Apple. "

Graças a Abhishek Singh, Alexa pode responder à linguagem de sinais. Quer adicionar ovos à sua lista de compras? Precisa saber se está chovendo em Manhattan? Sem problemas, Alexa pode responder a essas perguntas para aqueles que não conseguem falar com clareza ou ouvir o suficiente.

O engenhoso projeto de Singh envolveu um sistema baseado em câmeras. Ele estava pensando que poderia ser necessário que os dispositivos domésticos fossem projetados para usuários surdos. Como resultado, ele manipulou Alexa da Amazon, disse a BBC, para responder em texto à American Sign Language (ASL).

Singh disse aos visitantes do YouTube em um vídeo que mostra sua linguagem de sinais em ação que ele usou o aprendizado profundo com TensorFlow.js para fazer o Amazon Echo responder à linguagem de sinais.

Especificamente, como observou a BBC, "O desenvolvedor treinou uma IA usando a plataforma de aprendizado de máquina Tensorflow, que envolvia gesticular repetidamente na frente de uma webcam para ensinar ao sistema o básico da linguagem de sinais. "

Uma vez que o sistema foi capaz de responder aos movimentos de suas mãos, ele o conectou ao software de conversão de texto em voz do Google para ler as palavras correspondentes em voz alta.

Singh disse que no início, "Como um experimento mental, Usei o aprendizado profundo para fazer a AIexa responder à linguagem de sinais. "

A câmera interpreta os sinais do usuário. Os sinais são convertidos em texto e fala. "Alexa, Olá, "sai alto e claro. "Oi, lá." "Alexa, como está o tempo?" "Neste momento, em Nova York, estão 29 graus Celsius, com céu parcialmente ensolarado. A previsão de hoje tem muitas nuvens ..." "Alexa, o que é cinco pés em metros? " "Cinco pés é 1,5 metros." E assim por diante. E o que seria um relatório de sessão sem um pedido de piada:"Alexa, conte-me uma piada. "Não vou repetir, só porque é coxo. Nessa nota (não posso culpá-lo) Abhishek disse "Alexa, tchau."

Questão é, seu protótipo poderia ter alguma influência no futuro dos assistentes de voz? A BBC citou Singh como tendo dito que não havia razão para que o Amazon Show "ou qualquer um dos assistentes de voz baseados em câmera e tela não pudessem construir esta funcionalidade imediatamente."

Fast Company citou Singh:"Em um mundo ideal, eu teria construído isso diretamente no programa, mas os dispositivos ainda não podem ser hackeados, tão não foi capaz de encontrar uma maneira de fazer isso. "