Uma equipe de pesquisadores do Rochester Institute of Technology levou o prêmio principal em uma competição internacional realizada pelo Facebook Research para desenvolver soluções de rastreamento ocular mais eficazes. O time, liderado por três Ph.D. alunos do Chester F. Carlson Center for Imaging Science, ganhou o primeiro lugar no Desafio OpenEDS com foco em segmentação semântica.

Produtos de realidade virtual, como Oculus VR, dependem do rastreamento ocular para criar experiências imersivas. O rastreamento ocular deve ser preciso, preciso e trabalhar o tempo todo, para cada pessoa, em qualquer ambiente.

"Atualmente o rastreamento ocular é feito detectando a pupila e ajustando um modelo bidimensional ou tridimensional aos dados, "disse Aayush Chaudhary, um Ph.D. em ciência da imagem estudante do Nepal e um dos principais autores do jornal premiado. "O objetivo geral do Desafio OpenEDS era separar a íris, pupila e esclera em imagens do olho para que os modelos 2-D e 3-D possam ser ajustados a um modelo compacto. "

Para ajudar a expandir as aplicações onde o rastreamento ocular pode ser usado, O Facebook Research lançou o desafio de criar modelos de computador robustos que possam funcionar em tempo real. Eles exigiam que a solução vencedora fosse precisa, robusto e extremamente eficiente em termos de energia.

"Quando falamos sobre rastrear os olhos em um dispositivo como o seu celular, você precisa de modelos pequenos, que pode ser executado em tempo real, "disse Rakshit Kothari, um Ph.D. em ciência da imagem estudante da Índia. "Você precisa ser capaz de simplesmente pegar seu celular e fazê-lo funcionar imediatamente, sem muita computação. "

Com o apoio de seus consultores, três ciências da imagem Ph.D. alunos - Kothari, Chaudhary, e Manoj Acharya do Nepal - dedicou um mês de seu tempo de pesquisa para desenvolver a solução. Eles executaram inúmeros modelos ao longo desse período, refinando continuamente sua abordagem e avançando no desafio no último dia de competição. Pelo caminho, eles superaram vários obstáculos imprevistos para construir um modelo prático.

"Existem condições que nunca previmos que podem surgir nessas imagens, que nosso modelo teve que cuidar de forma inteligente, "disse Acharya." Por exemplo, se você estivesse ensinando a este modelo como encontrar esses recursos usando imagens em que as pessoas não estão usando maquiagem nos olhos, e então de repente alguém entra usando muito rímel, isso poderia confundi-lo completamente. Você precisa de um modelo que seja inteligente e inteligente o suficiente para contornar isso. "

O projeto interdisciplinar exigia colaboração entre laboratórios e faculdades da RIT. Os três autores principais colaboraram com co-autores, incluindo Nitinraj Nair, um estudante de graduação em ciência da computação da Índia, e Sushil Dangi, um Ph.D. em ciência da imagem estudante do Nepal. Eles trabalharam em estreita colaboração com seus conselheiros:Frederick Wiedman, Professor Jeff Pelz, Professor Assistente Gabriel Diaz, e o professor assistente Christopher Kanan do College of Science, e o professor Reynold Bailey, do Golisano College of Computing and Information Sciences.

Os pesquisadores trabalham em quatro laboratórios RIT - o Laboratório de Pesquisa Multidisciplinar da Visão (MVRL), o Laboratório PerForM (Percepção de Movimento), o Laboratório de Percepção Neuromórfica e de Máquina (kLab) e o Laboratório de Computação Gráfica e Percepção Aplicada.

Os membros da equipe apresentarão sua solução no Workshop OpenEDS 2019:Eye Tracking for VR e AR na Conferência Internacional sobre Visão Computacional (ICCV) em Seul, Coreia em 2 de novembro.

A equipe ganhou $ 5, 000 e irá doar o prêmio em dinheiro para a recém-criada Willem "Bill" Brouwer Endowed Fellowship para apoiar a pesquisa de estudantes de graduação no Chester F. Carlson Center for Imaging Science.

Mais informações estão disponíveis no site do Facebook Research OpenEDS Challenge.