Учись глазами. Как айтрекер помогает обездвиженным
Привет, я Иван Бакаидов.
Вы знаете, что я много лет делаю софт, который помогает людям с тяжелыми нарушениями общаться с миром. Хочу немного рассказать о том, чем занимаюсь последний год, также мне нужна помощь разработчиков браузерных игр.
За эти годы я пришел к использованию устройств отслеживания положения взгляда Tobii для коммуникации с тяжелыми формами инвалидности.
В прошлом году я начал сотрудничать с фондом «Близкие Другие». У нас был интересный опыт, когда несколько десятков семей научились работать с айтрекером с использованием моих open-source программ.
В этом году мы решили масштабировать этот опыт и для этого сделать бесплатный методический курс, которым может воспользоваться любая семья самостоятельно.
Юра Дудь пробует LINKa смотри, на разработку которой он выделял деньги.
Многие, в силу разных обстоятельств, лишены возможности привычных коммуникаций.
Я, Иван Бакаидов, применяю современные технологии и разрабатываю интерфейсы, чтобы помочь людям снять эти ограничения:
Людям с проблемами речи — сделать удобный интерфейс с синтезатором голоса
Людям с ограничением двигательных способностей — быстро писать текст.
Людям с тяжелыми двигательными нарушениями — применять альтернативный ввод, при помощи айтрекера, формируя высказывание глазами.
О проблемах неговорящих людей я знаю не понаслышке, ведь у меня ДЦП и я очень непонятно говорю.
Много раз я попадал в ситуации в которых неспособность ответить людям ставило меня положение «третьего лица», человека не с которым, а о котором говорят.
Это ужасное положение.
Всё изменилось, когда я разработал LINKa, программу, которая читает написанный текст. Я перестал держаться людей, которые понимают мое мычание, и смог путешествовать, работать, знакомиться с новыми людьми.
Это потрясающий путь к жизни и я хочу дать пройти его всем, у кого есть проблемы речи.
Поэтому моя задача изобретать интерфейсы, которые помогут сказать каждому.
Про опыт.
За год работы проекта фонд купил оборудование более 20 семьям. В ходе проекта «Учись глазами» мы установили необходимость не только в закупке оборудования, но и в работе дефектолога с семьями. Дефектолог помогает с помощью айтрекера установить и развить коммуникативные навыки в семьях с детьми с нарушениями развития.
В комплект оборудования входит ноутбук и eye tracker, устройство, которое сообщает компьютеру точку взгляда на экране. Почитать подробнее о трекере тут.
В ходе работы отлично зарекомендовала себя идея программы LINKa смотри. Простейшая система, которая позволяет составить родителю или специалисту «доску» карточек, оказалась очень гибкой и дала возможность конструировать сценарии от простейших (выбор из двух карточек) до игры в мемо.
Жизненное видео.
Про курс.
Получив крайне интересный и положительный опыт, мы перешли к его институализации в виде курса. Курс будет состоять из онлайн-лекций и видео мастер-классов для родителей и методистов, а также специализированного программного обеспечения для проведения занятий с eye tracker: игры — для развития навыка управления взглядом, и коллекции наборов карточек — для коммуникации с миром. В том числе для коммуникации в начальных классах школы.
Мы приступили к работе над специализированными играми, рассчитанными на разные аспекты развития навыка управления компьютером при помощи взгляда:
— осознание процесса взаимодействия с экраном (демонстрация направления взгляда, удержание взгляда на объекте для его выбора);
— тренировка управления взглядом (игры на скорость, зоркость и внимание);
— удовольствие (арканоид, волк и яйца).
Классика
Вопросы:
Основная цель поста — посоветоваться с выбором технологий.
Первая версия игр была написана на Unity, но мы пришли к выводу, что разработка на этом стеке слишком дорогая.
Я написал оболочку для запуска игр на electron, с поддержкой драйвера tobii eye tracker, а также несколько простых игр, используя paper.js для работы с Canvas.
Пример игры Волк и яйца.
Также мы написали технические задания для игр.
У меня есть важный технический вопрос к сообществу:
На чём лучше писать игры на paper.js, phaser.io, construct.net или чём-то другом?
Как можно помочь проекту
Нам можно помочь посоветовав технологию, написав игру, или нарисовав графику для игры
Или сделав пожертвование
