Uma visão geral do sistema de assistência VI. O sistema inclui um terminal vestível feito de uma câmera RGBD e um fone de ouvido, um processador e uma interface de toque que oferece instruções que podem ser percorridas e descrições de cenas. Crédito:Lin et al.
Novos avanços tecnológicos podem ter implicações importantes para as pessoas afetadas por deficiências, oferecendo assistência valiosa ao longo de suas vidas diárias. Um exemplo importante disso é a orientação que as ferramentas tecnológicas podem fornecer aos deficientes visuais (VI), indivíduos parcialmente ou totalmente cegos.
Com isso em mente, pesquisadores da CloudMinds Technologies Inc., na China, criaram recentemente um novo sistema de assistência vestível com aprendizado profundo para indivíduos com VI. Este sistema, apresentado em um artigo pré-publicado no arXiv, consiste em um terminal vestível, um processador poderoso e um smartphone. O terminal vestível tem dois componentes principais, uma câmera RGBD e um fone de ouvido.
"Apresentamos um sistema wearable baseado em aprendizagem profunda para melhorar a qualidade de vida do VI, "os pesquisadores escreveram em seu artigo." O sistema é projetado para navegação segura e percepção abrangente da cena em tempo real. "
O sistema desenvolvido pela equipe da CloudMinds basicamente coleta dados do entorno do usuário por meio da câmera RGBD. Esses dados são enviados para uma rede neural convolucional (CNN) que os analisa e prevê as estratégias de navegação e prevenção de obstáculos mais eficazes. Essas estratégias, junto com outras informações sobre o ambiente circundante, são então comunicados ao usuário por meio de um fone de ouvido.
Ao construir este sistema, os primeiros pesquisadores desenvolveram um sistema baseado em dados, rede convolucional ponta a ponta (CNN) que pode gerar instruções sem colisão conforme o usuário avança, deixou, ou e direito com base em dados RGBD e mapas semânticos associados. Além disso, eles projetaram uma série de interações que são fáceis de serem adotadas por indivíduos com VI, para fornecer feedback confiável, como instruções de caminhada para evitar obstáculos e informações sobre o ambiente ao redor.
"Nosso mecanismo de prevenção de obstáculos, que aprende com RGBD, mapa semântico e entrada de escolha de ação do piloto, é capaz de fornecer feedback seguro sobre os obstáculos e espaço livre ao redor do VI. Ao fazer uso do mapa semântico, também apresentamos um esquema de interação eficiente implementado para ajudar o VI a perceber os ambientes 3-D por meio de um smartphone. "
Os pesquisadores testaram o desempenho de seu sistema em uma série de experimentos de prevenção de obstáculos do mundo real. Notavelmente, seu sistema superou as abordagens existentes em vários cenários internos e externos. As descobertas que eles reuniram durante esses testes sugerem que o sistema também melhora o desempenho de mobilidade dos usuários e as capacidades de percepção do ambiente em tarefas do mundo real, por exemplo, ajudando-os a entender o layout de uma determinada sala, ajudando-os a encontrar um objeto perdido, ou transmitindo as condições de tráfego nas proximidades.
Como parte de seu estudo, os pesquisadores coletaram conjuntos de dados de episódios de evasão de obstáculos que contêm instruções para evitar obstáculos próximos ao caminhar e outras informações para perceber os ambientes 3-D circundantes. Esses conjuntos de dados podem ajudar as equipes de pesquisa a treinar outras ferramentas baseadas em aprendizagem profunda para indivíduos com VI.
No futuro, o novo sistema vestível desenvolvido neste estudo pode fornecer assistência mais eficaz e aprofundada para indivíduos com VI. A equipe agora está planejando integrar um sonar ou sensor de colisão que melhoraria a segurança dos usuários quando estiverem navegando em ambientes mais desafiadores ou inseguros.
© 2019 Science X Network
