Pesquisadores da Carnegie Mellon University desenvolveram um método que permite que dispositivos inteligentes descubram onde estão e o que as pessoas estão fazendo ao seu redor, analisando os sons de seus microfones. Crédito:Carnegie Mellon University
Dispositivos inteligentes podem parecer burros se não entenderem onde estão ou o que as pessoas ao seu redor estão fazendo. Pesquisadores da Carnegie Mellon University dizem que essa consciência ambiental pode ser aprimorada por métodos complementares de análise de som e vibrações.
"Um alto-falante inteligente sentado em uma bancada de cozinha não consegue descobrir se está em uma cozinha, muito menos saber o que uma pessoa está fazendo na cozinha, "disse Chris Harrison, professor assistente do Human-Computer Interaction Institute (HCII) do CMU. "Mas se esses dispositivos entendessem o que estava acontecendo ao seu redor, eles poderiam ser muito mais úteis. "
Harrison e colegas do Future Interfaces Group apresentarão um relatório hoje no Simpósio de Software e Tecnologia de Interface do Usuário da Association for Computing Machinery, em Berlim, sobre duas abordagens para este problema - uma que usa o mais onipresente dos sensores, o microfone, e outro que emprega uma versão moderna da tecnologia de espionagem usada pela KGB nos anos 1950.
No primeiro caso, os pesquisadores buscaram desenvolver um sistema de reconhecimento de atividade baseado em som, chamado Ubicoustics. Este sistema usaria os microfones existentes em alto-falantes inteligentes, smartphones e smartwatches, permitindo que eles reconheçam sons associados a lugares, como quartos, cozinhas, workshops, entradas e escritórios.
Os pesquisadores da Carnegie Mellon University estão usando a vibrometria a laser - um método semelhante ao usado anteriormente pela KGB para espionagem - para monitorar vibrações e movimentos de objetos, permitindo que dispositivos inteligentes estejam cientes da atividade humana. Crédito:Carnegie Mellon University
"A ideia principal aqui é aproveitar as bibliotecas profissionais de efeitos sonoros normalmente usadas na indústria do entretenimento, "disse Gierad Laput, um Ph.D. estudante do HCII. "Eles estão limpos, devidamente rotulado, bem segmentado e diversificado. Mais, podemos transformá-los e projetá-los em centenas de variações diferentes, criando volumes de dados perfeitos para treinar modelos de aprendizado profundo.
"Este sistema pode ser implantado em um dispositivo existente como uma atualização de software e funcionar imediatamente, " ele adicionou.
O sistema plug-and-play pode funcionar em qualquer ambiente. Pode alertar o usuário quando alguém bate na porta da frente, por exemplo, ou vá para a próxima etapa em uma receita quando detectar uma atividade, como ligar um liquidificador ou picar.
Os pesquisadores, incluindo Karan Ahuja, um Ph.D. estudante em HCII, e Mayank Goel, professor assistente no Institute for Software Research, começou com um modelo existente para rotular sons e o ajustou usando efeitos sonoros de bibliotecas profissionais, como eletrodomésticos de cozinha, ferramentas elétricas, secadores de cabelo, teclados e outros sons específicos do contexto. Eles então alteraram sinteticamente os sons para criar centenas de variações.
Laput disse que reconhecer sons e colocá-los no contexto correto é um desafio, em parte porque vários sons estão frequentemente presentes e podem interferir uns nos outros. Em seus testes, Ubicoustics tinha uma precisão de cerca de 80 por cento - competitiva com a precisão humana, mas ainda não é bom o suficiente para oferecer suporte a aplicativos do usuário. Melhores microfones, taxas de amostragem mais altas e arquiteturas de modelo diferentes podem aumentar a precisão com pesquisas futuras.
Um vídeo explicando Ubicoustics:
Em um papel separado, HCII Ph.D. estudante Yang Zhang, junto com Laput e Harrison, descrever o que eles chamam de Vibrosight, que pode detectar vibrações em locais específicos em uma sala usando vibrometria a laser. É semelhante aos dispositivos baseados em luz que a KGB costumava usar para detectar vibrações em superfícies reflexivas, como janelas, permitindo-lhes ouvir as conversas que geraram as vibrações.
"O legal da vibração é que ela é um subproduto da maioria das atividades humanas, "Zhang disse. Correndo em uma esteira, bater um martelo ou digitar em um teclado criam vibrações que podem ser detectadas à distância. "Outra coisa interessante é que as vibrações são localizadas em uma superfície, "acrescentou. Ao contrário dos microfones, as vibrações de uma atividade não interferem nas vibrações de outra. E ao contrário de microfones e câmeras, monitorar vibrações em locais específicos torna esta técnica discreta e preserva a privacidade.
Este método requer um sensor especial, um laser de baixa potência combinado com um motorizado, espelho orientável. Os pesquisadores construíram seu dispositivo experimental por cerca de US $ 80. Etiquetas reflexivas - o mesmo material usado para tornar as bicicletas e os pedestres mais visíveis à noite - são aplicadas aos objetos a serem monitorados. O sensor pode ser montado em um canto de uma sala e pode monitorar as vibrações de vários objetos.
Zhang disse que o sensor pode detectar se um dispositivo está ligado ou desligado com 98 por cento de precisão e identificar o dispositivo com 92 por cento de precisão, com base no perfil de vibração do objeto. Ele também pode detectar movimento, como a de uma cadeira quando alguém se senta nela, e sabe quando alguém bloqueou a visão do sensor de uma tag, como quando alguém está usando uma pia ou lava-olhos.
Um vídeo explicando Vibrosight:
