Теперь наушники могут распознавать ваши эмоции. Попробуете?

04.08.2022, 10:18
Новая разработка американских инженеров позволяет распознавать мимику пользователя наушников: в этом помогает эхолокация и — внимание — щеки человека. Но зачем могут понадобиться такие «наушники будущего»?
Юрий Гандрабура
Теперь наушники могут распознавать ваши эмоции. Попробуете?
Ke Li / Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2022

Возможно, в скором будущем наушники станут атавизмом 

Ученые-инженеры из Корнеллского университета, США, под руководством Чэня Чжана,  доцент кафедры информатики, и Франсуа Гимбретьера, профессор информатики, разработали наушники EarIO. Их система помогает передавать мимику человеческого лица на смартфон в режиме реального времени.

Ke Li et al. / Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2022
(e) Прототип наушников EarIO; (a) Динамик; (b) Плата с микрофоном;©,(d) вид главной платы сверху и снизу

EarIO работает подобно кораблю, который посылает импульсы эхолокатора/гидролокатора (sonar). Динамик, расположенный с каждой стороны наушника, передает акустические сигналы по сторонам лица, а микрофон улавливает эхо. 

Ke Li et al. / Proceedings of the ACM on Interactive, Mobile, W

Наушники-эхолокаторы

Когда пользователи улыбаются, разговаривают или поднимают брови, кожа имеет тенденцию двигаться и растягиваться, изменяя «эхо-профили». Алгоритм глубокого обучения, предложенный учеными, использует искусственный интеллект для постоянной обработки данных, а затем переводит меняющиеся эхо в полные выражения лица.

«Благодаря силе искусственного интеллекта алгоритм находит сложные связи между движением мышц и выражением лица, которые человеческий глаз не может определить. Мы можем использовать это, чтобы вывести сложную информацию», — объясняют создатели. Подобные технологии уже частично используются, например, в анимации.

Ke Li et al. / Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2022

Устройства, которые могут отслеживать движения лица с помощью камеры, «большие, тяжелые и энергоемкие, это проблема. И важно, что они собирают много личной информации», — заявил Чжан. Гимбретьер добавил —  «Цель нашего проекта — убедиться, что вся информация всегда находится под вашим контролем и вычисляется локально». 

©  Популярная Механика