Глазные интерфейсы. Доклад в Яндексе
В феврале Яндекс провёл вторую конференцию «Я 
Фронтенд». Мы сделали её непохожей на наши традиционные Я.Субботники — почти все спикеры были не из Яндекса, чтобы зрители могли узнать об опыте разных компаний и разработчиков. За день было съедено 10 кг мармелада, гости посмотрели, как работает робот-курьер Яндекс.Ровер, а вечером поболели за участников контеста Code in the Dark.
Как всегда, мы опубликуем конспекты нескольких докладов с конференции. Иван Бакаидов ibakaidov работает программистом в компании LINKa в Санкт-Петербурге. Он создатель программ альтернативной коммуникации и защитник прав людей без подписи. Ваня выступал на сессии комиссии по делам глухих в чрезвычайных ситуациях гуманитарного саммита ООН в Стамбуле. У нас на конференции он рассказал о «глазных интерфейсах» — поделился опытом разработки детских обучающих игр и приложений, управляемых с помощью устройства отслеживания взгляда и предназначенных для людей с ограниченными возможностями здоровья. Из конспекта и видео вы узнаете о подводных камнях в создании «глазных интерфейсов» и сможете ответить для себя на вопрос, будущее ли это.
— Привет. Наверное, меня уже представили, я не знаю, так как писал этот текст вчера, а сегодня просто воспроизвожу его при помощи синтезатора речи. Поскольку у меня нет этого знания, я представлюсь еще раз. Я Иван Бакаидов. Мне 21 год. И основное мое занятие заключается в том, что я делаю интерфейсы, с помощью которых люди с поражением речи формируют фразы для синтезатора речи. Они могут печатать текст, выбирать картинки, нажимать одну кнопку, и все это должно выдавать полноценную речь. Мой проект называется LINKa.
Но сейчас пробую новый вид устройства ввода информации в компьютер. Это айтрекер, устройство, которое сообщает в компьютер точку, куда смотрит человек на экране. Оно небольшое, крепится под экран. И, казалось бы, при довольно хорошей работе устройства, мы можем забыть про мышки и клавиатуры. Но так ли это? Об этом мой доклад.
У моего доклада несколько целей:
1. Показать вам, что будущее совсем близко, управление глазами уже стучится в потребительские двери и нам стоит начать пилить библиотеки для этой сферы.
2. Рассказать об основном отличии таких интерфейсов от привычных нам.
3. Вообще, паралитик на конференции — это полезно. Может, кто из вас посмотрит на меня и пойдет проверит работу фокуса на сайте, чтобы я мог по нему табом ходить.
На самом деле, мне много лет рассказывали об этой технологии, а я много лет в нее не верил. Во-первых, модели айтрекеров стоили около 140 тысяч рублей, что весьма дорого. Во-вторых, как вы видите, у меня весьма дергается голова, и на первых моделях, которые я пробовал, это сильно мешало.
Но сейчас компания Tobii выпустила игровой айтрекер стоимостью около десяти тысяч и с функцией отслеживания головы. То есть это устройство отслеживает движения головы и глаз и, я подозреваю, просто вычитает одно из другого. Стоит оговориться, что Tobii — это как Apple, только на рынке трекеров.
Этот трекер предназначен для геймеров и служит вспомогательной функцией.
Например, если ты смотришь в край экрана, камера игрока чуть чуть поворачивается в эту сторону. Или же в последних шутерах, если ты смотришь на противников, они помечаются на карте.
Еще одна из функций этого трекера, которая идет из коробки, — помощь в меню открытых программ. То есть я зажимаю всем привычный alt+Tab, появляется представление окон, я смотрю на нужное окно и отпускаю alt+Tab. К этому привыкаешь моментально и потом не понимаешь, почему на твоем основном макбуке не работает эта функция.
Ах да, эта штука включает компьютер, когда ты садишься на стол и выключает, когда ты уходишь за кофе.
Кстати, айтрекер работает только с Windows, поэтому все теперь смотрят на меня как на больного человека, так как бегаю с макбуком, на котором Windows. Хотя, если бы там была не Windows, на меня все равно смотрели бы как на больного.
Так, меню выбора программ — это круто, конечно, но мы же хотим управлять системой полностью без клавиатуры. Мы — это люди с двигательными ограничениями. И тут есть два пути решения. Первый — очевидный, можно управлять мышкой глазами. То есть курсор перемещается в позицию взгляда, а при удержании взгляда происходит клик.
Второй путь решения — создание своих интерфейсов, заточенных под трекер. Как вы понимаете, если бы нормально работал первый путь, я бы не рассказывал про второй.
Программ для первого пути несколько, я пробовал три:
— Инструмент, встроенный в последние сборки винды, который просто включается в настройках специальных возможностей.
— Программа Optikey английского разработчика.
— Программа от русского программиста, название которой автор явно не выделил, поэтому буду называть ее троян. Ну, потому что антивирус говорит, что это троян.
Программы в целом похожи по принципу, поэтому я не буду разбирать каждую. Появляется виртуальная панель с инструментами. Ты выбираешь один из этих инструментов, например клик левой кнопкой, потом смотришь в зону, куда хочешь кликнуть, эту зону увеличивают, ты смотришь секунду в конкретное место и происходит клик. Поднимите руку те, кто понимает, что это не наше будущее.
Прибавьте к этому еще то, что мой взгляд дергается, так как глаз — это мышца, а все мышцы моего тела дергаются. Кстати, я тут записал траекторию взгляда — свою и обычного человека — во время чтения Лолиты. Как видите, мой взгляд уходит со строки наверх. Поэтому я прочитал за жизнь семь книжек и боюсь идти в институт. Я отправил эту картинку своему учителю литературы со словами: я не дебил.
Но во всех этих программах есть функция экранной клавиатуры, которая работает по принципу квадратиков с буквами. При удержании взгляда в квадратике он нажимается. При этом квадратик прощает то, что ты отводишь с него взгляд на другие на пару долей секунды.
И вы же уже поняли, какая светлая мысль пришла мне в голову?
Правильно, надо делать интерфейсы из квадратиков. Соответственно, я решил написать библиотеку компонентов для айтрекера. Сейчас я ее готовлю к релизу. И по первым демо приложениям можно с уверенностью сказать, что айтрекер при условии создания специальных приложений под него заменит нам мышку, так как намного удобнее просто посмотреть на кнопку.
Я не могу сказать то же самое про клавиатуру: все-таки слепая печать более эргономична и происходит на мыщечном уровне. В случае же с мышкой мы всегда смотрим на экран, куда нажимаем. И я думаю, что совсем скоро интерфейсы двинутся в эту сторону.
В целом, мое виденье такое. Лет через пять технология айтрекинга плотно войдет в нашу жизнь, но это будут совсем другие интерфейсы. Они будут представлять собой сочетание клавиатуры и трекера. То есть, как и в примере с alt+Tab, пользователь будет открывать некие представления при помощи сочетания клавиш, а уже из них выбирать взглядом.
Но хочу рассказать про другой мой проект.
Поскольку навык управления взглядом довольно сложный для людей, я занялся разработкой простых казуальных игр, которые помогают приобрести нужную сноровку. Собственно, часть этих игр — калька с западного аналога за много денег. Сейчас я буду показывать игры и объяснять, какой навык они формируют по моему мнению. Проект заточен на детей с особенностями развития.
Первая игра, которую я сделал, называется «Вспышка». Ее суть очень проста. На черном экране в случайном месте появляется Ленин, и при взгляде в эту область Ленин меняется на огонек. Затем история повторяется. Потом я заменил портрет Владимира Ильича, меня попросили.
С этой игры начинается знакомство ребенка с трекером. Поскольку фигурка на экране одна, ребенок, скорее всего, будет смотреть на нее. За это он получает приятный звук.
Игра следующего уровня тренирует удерживать взгляд на объекте. Принцип, опять же, прост: надо удержать взгляд на шарике, он становится красным, потом лопается. Вьетгонговец получает ракетой по голове, и все счастливы. Навык удержания взгляда нужен для управления кнопками. И есть целый цикл игр с кнопками.
Но сейчас я покажу игру на следующий уровень навыка. Это навык косого зрения. Он нужен в момент набора текста, когда тебе одновременно надо смотреть на нужную букву и следить за текстом, который ты вводишь. Поэтому я сделал игру Сизиф, где нужно взглядом приводить в движение вентилятор, который дует на шарик. Шарик надо закатить в горку. При отпускании взгляда с вентилятора шарик скатывается назад.
Какие-то такие игры вышли, это мой любительский проект. Возможно, кто-то из вас захочет к нему присоединиться.
Контакты:
— ibakaidov
— ivan@aacidov.ru
— Хочу учиться
