Sonar cria avatar em tempo real com seu olhar e expressão facial

 

Protótipo de laboratório dos óculos que monitoram olhos e rosto usando uma espécie de sonar.
[Imagem: Jason Koski/Cornell University]

Sonar facial

Pesquisadores incorporaram em óculos duas tecnologias de detecção semelhantes a um sonar, que permitem rastrear o olhar e as expressões faciais da pessoa.

Embora ainda precise de um banho de design, a tecnologia é pequena o suficiente para caber em aparelhos disponíveis no mercado, como óculos inteligentes, óculos de realidade virtual ou fones de realidade aumentada, e com a grande vantagem de que ela consome significativamente menos energia do que aparelhos semelhantes que usam câmeras.

Os dois sistemas usam alto-falantes e microfones miniaturizados para dirigir para o rosto ondas sonoras inaudíveis ao ser humano, e então captar os sinais refletidos causados pelos movimentos do rosto e dos olhos. O primeiro dispositivo, que a equipe batizou de GazeTrak, é o primeiro sistema de rastreamento ocular baseado em sinais acústicos. O segundo, EyeEcho, é o primeiro sistema baseado em óculos que detecta expressões faciais de forma contínua e precisa e as recria através de um avatar em tempo real.

"[O sistema] é pequeno, barato, e de baixo consumo de energia, então você pode usá-lo em óculos inteligentes todos os dias - não vai acabar com a bateria," disse o professor Cheng Zhang, da Universidade Cornell, nos EUA, acrescentando que o protótipo funciona no laboratório "por várias horas" na bateria de óculos inteligentes e mais de um dia em um óculos de realidade virtual.

Além do ineditismo do sistema acústico, o equipamento consome pouquíssima energia das baterias.
[Imagem: Jason Koski/Cornell University]

Sonar com inteligência artificial

Para o GazeTrak, os pesquisadores posicionaram um alto-falante e quatro microfones ao redor da parte interna de cada armação ocular, para disparar e captar ondas sonoras do globo ocular e da área ao redor dos olhos. Os sinais sonoros resultantes entram em um sistema de aprendizado profundo personalizado que usa inteligência artificial para inferir continuamente a direção do olhar da pessoa.

Para o EyeEcho, bastam um alto-falante e um microfone, localizados próximos às dobradiças dos óculos, apontando para baixo para captar o movimento da pele conforme as expressões faciais mudam. Os sinais refletidos também são interpretados usando IA.

As leituras dos olhos e das feições são então usadas para atualizar em tempo real as feições de um avatar digital. Assim, os usuários podem fazer videochamadas em viva-voz por meio desse avatar, mesmo em um café barulhento ou na rua.

Embora alguns óculos inteligentes tenham a capacidade de reconhecer rostos ou distinguir entre algumas expressões específicas, atualmente nenhum rastreia expressões continuamente, garante a equipe.

Detalhes do equipamento e seu uso para recriar expressões de um avatar.
[Imagem: Jason Koski/Cornell University]

Aplicações recreativas e médicas

As duas tecnologias têm aplicações que vão além do aprimoramento da experiência de realidade virtual. O GazeTrak, por exemplo, pode ser usado com leitores de tela, para ler trechos de texto para pessoas com baixa visão conforme navegam em um site.

Combinados, os dois também poderiam ajudar a diagnosticar ou monitorar doenças neurodegenerativas, como Alzheimer e Parkinson. Com essas condições médicas, os pacientes muitas vezes apresentam movimentos oculares anormais e rostos menos expressivos, e este tipo de tecnologia poderia acompanhar a progressão da doença no conforto da casa do paciente, sugere a equipe.

Bibliografia:

Artigo: EyeEcho: Continuous and Low-power Facial Expression Tracking on Glasses
Autores: Ke Li, Ruidong Zhang, Siyuan Chen, Boao Chen, Mose Sakashita, François Guimbretière, Cheng Zhang
Revista: CHI conference on Human Factors in Computing Systems (CHI’24)
DOI: 10.1145/3613904.3642613

Fonte: https://www.inovacaotecnologica.com.br/