Nós nos acostumamos com nossos smartwatches e smartphones sentindo o que nossos corpos estão fazendo, seja andando, dirigindo ou dormindo. Mas e nossas mãos? Acontece que smartwatches, com alguns ajustes, pode detectar um número surpreendente de coisas que suas mãos estão fazendo.

Pesquisadores do Instituto de Interação Humano-Computador (HCII) da Carnegie Mellon University usaram um smartwatch padrão para descobrir quando um usuário estava digitando em um teclado, lavar pratos, acariciando um cachorro, despejando de um jarro ou cortando com uma tesoura.

Fazendo algumas alterações no sistema operacional do relógio, eles foram capazes de usar seu acelerômetro para reconhecer os movimentos das mãos e, em alguns casos, sons bioacústicos associados a 25 atividades manuais diferentes com precisão de cerca de 95%. E essas 25 atividades são apenas o começo do que pode ser detectado.

"Nós imaginamos os smartwatches como uma cabeça de ponte única no corpo para capturar ricos, atividades diárias, "disse Chris Harrison, professora assistente do HCII e diretora do Grupo Interfaces do Futuro. "Uma ampla variedade de aplicativos poderia se tornar mais inteligente e mais sensível ao contexto se nossos dispositivos conhecessem a atividade de nossos corpos e mãos."

Harrison e HCII Ph.D. o aluno Gierad Laput apresentará suas descobertas sobre esta nova capacidade de detecção no CHI 2019, a Conferência sobre Fatores Humanos em Sistemas de Computação da Association for Computing Machinery, 4 a 9 de maio em Glasgow, Escócia. Um vídeo está disponível.

Assim como os smartphones agora podem bloquear mensagens de texto enquanto o usuário dirige, dispositivos futuros que detectam a atividade das mãos podem aprender a não interromper alguém enquanto ela está fazendo determinado trabalho com as mãos, como cortar vegetais ou operar equipamentos elétricos, Laput disse. Sentir a atividade das mãos também se presta a aplicativos relacionados à saúde - atividades de monitoramento, como escovar os dentes, lavar as mãos ou fumar um cigarro.

O sensoriamento manual também pode ser usado por aplicativos que fornecem feedback aos usuários que estão aprendendo uma nova habilidade, como tocar um instrumento musical, ou em reabilitação física. Os aplicativos podem alertar os usuários sobre hábitos de digitação que podem levar a lesões por esforço repetitivo (LER), ou avaliar o início de deficiências motoras, como aquelas associadas à doença de Parkinson.

Laput e Harrison começaram sua exploração da detecção de atividade manual recrutando 50 pessoas para usar smartwatches especialmente programados para quase 1, 000 horas durante suas atividades diárias. Periodicamente, os relógios registrariam o movimento da mão, orientação das mãos e informações bioacústicas, e, em seguida, peça ao usuário para descrever a atividade manual - barbear, batendo palmas, coçar, passando batom, etc. Mais de 80 atividades manuais foram rotuladas desta forma, fornecendo um conjunto de dados exclusivo.

Por enquanto, os usuários devem usar o smartwatch em seu braço ativo, em vez do braço passivo (não dominante), onde as pessoas normalmente usam relógios de pulso, para o sistema funcionar. Experimentos futuros irão explorar quais eventos podem ser detectados usando o braço passivo.

"As 25 atividades manuais que avaliamos são uma pequena fração das maneiras como envolvemos nossos braços e mãos no mundo real, "Laput disse. O trabalho futuro provavelmente se concentrará em classes de atividades - aquelas associadas a atividades específicas, como parar de fumar, atendimento ao idoso, ou digitando e RSI.