Смартфон научили угадывать желания пользователя по взгляду17.04.2020 19:03

Устройство определяет, куда смотрит человек, и использует это для выполнения его голосовых команд

dfddd67add2b4f4e61afee3ad988342b7bfbc33a

Смартфон научили угадывать желания пользователя по взгляду. Специальный алгоритм отслеживает, куда смотрит человек, и на основе этого управляет командами для голосового помощника.

Это может пригодиться для того, чтобы голосовой ассистент смог ответить на вопрос: «До которого часу работает этот магазин?». Сейчас при таком запросе ваш смартфон не поймёт, о каком «этом» магазине идёт речь. Однако с новой технологией разработчиков, устройство смогло бы определить заведение точно, просто используя обе свои камеры: и фронтальную, и основную.

Для воплощения задумки в реальность инженеры применили iPhone с iOS 13. Именно в этой версии система позволяет одновременно использовать две камеры. Разработчики использовали системный API для отслеживания положения головы, чтобы определять направление взгляда.

Объекты распознает специальный фреймворк. Затем программа слушает запрос пользователя, сопоставляет указательные местоимения с объектами и только после этого формирует окончательную команду для голосового помощника.