Emotiv Insight: первое знакомство с нейроинтерфейсом

75f616c938ec4890a9e41a6f4c8a51cb.JPG

Emotiv Insight — это небольшой портативный нейроинтерфейс. Пару лет назад (в 2013 году) я проспонсировал этот проект на Kickstarter на сумму 330 $ (сейчас доступен от 299 $). Изначальная дата отправки устройств была назначена на март 2014 года, но получил я его только сегодня.
В этом посте я кратко опишу первое знакомство с Emotiv Insight, после будет опубликована статья с обзором SDK и ПО с точки зрения программиста.

  1. Характеристики
  2. Распаковка и внешний вид
  3. ПО
  4. Недостатки


  • Цена: от 299 $
  • 5 ЭЭГ сенсоров
  • Использует LE Bluetooth 4.0
  • Датчики: гироскоп, акселерометр, магнитометр
  • Аккумулятор: Литий-полимерный 480mAh, обещанное время работы — минимум 4 часа
  • Вес: не нашел в документации и не нашел достаточно чувствительных весов, но я практически не ощущаю устройство на голове.
  • Поставляемое ПО умеет распознавать мимику и некоторые эмоции (улыбка, подмигивание, удивление, заинтересованность), так же имеет возможность распознавать некоторые мысленные команды (вверх, вниз, тяни, толкай и т.д.) все это естественно требует обучения и калибровки. Промо видео


Пришла квадратная симпатичная коробочка, в похожей продаются Mac Mini.
0ac7b6610fd84f1da8f627917071b2c3.JPG

Внутри имеем:
ca12c4f5fbfa4dfc9e8900955ad3a7cd.JPG

  1. 4 отдельных сенсора.
  2. Зарядный USB кабель.
  3. Дуга с портом для сенсора.
  4. Основная часть с кнопкой «вкл», портом для зарядки и одним встроенными сенсором + 3 порта для установки сенсоров которые идут отдельно. И один порт для установки дополнительной дуги с сенсором.


Сенсоры мягкие и полупрозрачные. Все сенсоры, кроме встроенного в основную часть, взаимозаменяемы и зачем-то неравномерно покрашены в зеленый.

df89f99102354fed9b3cad4d9c5e7844.JPG f3afa45d55cb41fa8f9560df5af83569.jpg e8c3b29a05c24776a12c3bf0db2cb87e.jpg

В сборе выглядит так:
e5a60d1f28c749ad9a74af10bdd48513.jpg

Дуги довольно гибкие, вся конструкция сидит на голове удобно, но сначала мне иногда неприятно давила под левым ухом вот эта деталь:
757d2c6788944346926fb1c0d8e3959b.jpg


Следует отметить, что качество всего ПО и документации, попадавшихся мне, были, прямо скажем, плохими. Нестабильная работа, не интуитивные интерфейсы. Все ПО разбросано по разным местам, требует установки плагинов, не работает на некоторых браузерах, сейчас не поддерживается iOS и т.д.

Первое с чем мы сталкиваемся — это Control Panel. Работает через браузер с помощью плагина. Мне удалось запустить ее на Safari, сначала ставим плагин — затем запускаем в браузере. Включаем Emotiv Insight и включаем Bluetooth на компьютере и все заработало.

a0598d976b8a46eda3bcc6705f15e730.png
Зеленый цвет показывает нам, что качество контакта датчиков с моей головой хорошее, а черный — что его нет. Нужно плотнее прижать датчик к макушке, видимо волосы мешают.

Первым делом идем в раздел Facial Expressions в control panel.

Это я радуюсь что пишу статью на Geektimes:
5b87922059ef44cb9acac6b1bcf34751.png

А это я злюсь без причины
1b7b83930c404a4b978f27e53d789a34.png
Программа неплохо детектит подмигивания, но довольно часто происходят ложные срабатывания на какие-либо выражения лица. Поэтому девушку всегда колбасит, может быть более тщательное обучение способно это исправить.

Можно обучить 4-м выражениям:

  • Хмурый
  • Удивление
  • Улыбка
  • Напряжение


Теперь идем в раздел Performance Metrics
Наверное эти данные могут быть самыми полезными для каких-то реальных исследований.

Этот график отображает активность моего мозга в момент ознакомления с графиком активности моего мозга:

98d2cd4cc252433eb0ad256b3adccaf5.png

Как видно он дает нам какую-то оценку по таким параметрам как:
Заинтересованность, вовлеченность, концентрация, расслабление, мгновенное возбуждение, длительное возбуждение.

Теперь самое интересное — мысленные команды

fa0bcf84a2004ecc8456c92c359fb20d.png

Здесь мы пытаемся мысленно управлять объектом, сначала мы обучаем программу тому какие наши мысли интерпретировать как «Тяни», «Толкай», «Влево» и т.д. При этом у каждого действия есть показатель интенсивности.
Главное разочарование: в один момент времени могут быть активны только две команды.
То есть мы либо только тянем или толкаем, либо только поворачиваем или поднимаем и т.д.
Мы не можем применять полный набор действий к объекту.

Здесь я нашел еще несколько приложений и примеров которые можно скачать.

Там есть 2 интересные программы.
Первая — это Emotiv Xavier Emo Key — программа которая может реагировать на события которые я описал выше (Мимика, мысленные команды и т.д.) и отправлять события клавиатуры (Short cut или просто текст) в приложение с которым ты сейчас работаешь.
Звучит классно, не правда ли? Можно например просто подумать о том чтобы открыть диалог поиска или сменить раскладку клавиатуры. Но не стоит забывать об ограничении в 2 команды в Control Panel — наверное оно там стоит неспроста, и вряд ли нам удастся использовать больше команд здесь. К тому же, мне ничего из этого пока не удалось заставить работать на Mac, я отправил пару запросов в тех поддержку и жду ответов, надеюсь пользователям Windows повезло больше.

Вот так выглядит эта программа.

64301c89a56f46dfa2b9151d9461f615.png
dc099d1efabd4aa59ac3f7e24edc4746.png

Вторая программа будет больше интересна программистам.
Это эмулятор устройств Emotiv — Emotiv Xavier Composer.
Собственно эмулирует отправку различных команд или параметров с мозга.

c17e60b15cfd46389c2047705146e5c4.png

Также существует магазин приложений emotiv.com/store/app
Если у вас Mac — то вам не повезло, никаких сторонних приложений для Mac в официальном магазине нет (по фильтру Mac / Insight выдается одно, но оно на самом деле только под Windows)

Еще имеется доступ к SDK, с помощью которого можно самому создавать ПО, обзор SDK и восприятие Emotiv Insight с точки зрения программиста будет оформлено в другом посте.


  1. Не все выглядит гладко. Где-то не плотно стыкуются детали, где-то асимметрично вылиты сенсоры
  2. На данный момент мало ПО
  3. Качество ПО
  4. На данный момент не работает с iOS
  5. Нельзя одновременно заряжать и использовать
  6. Нужно следить чтобы устройство не заряжалось слишком долго — производители предупреждают, что это вредно для аккумулятора

Не смотря на недостатки, я все же надеюсь что из этого выйдет что-то хорошее, ведь не все компоненты еще успели разработать, да и само устройство только начинает продаваться. Интересно, что придумают сторонние разработчики.

Хотелось бы, чтобы люди имеющие это устройство поделились ссылками на стороннее ПО и ресурсами имеющими отношение к этому устройству. Спасибо.

© Geektimes