Нейроинтерфейсы: от фотобумаги до нейропыли
Всё взаимодействие с внешним миром человек делает при помощи мышц (речь, пальцы, жесты и пр). Нейроинтерфейс позволяет править взаимодействовать с миром без мышечной активности. Первый шаг к «мозгам в банке». И к взлому мозга.В фильме Чаппи при помощи ЭЭГ-шлема робот копировал сознание (как свое, так и человеческое), а DARPA тем временем научила парализованную женщину не только есть шоколадки, но и управлять малозаметным истребителем-бомбардировщиком пятого поколения F-35. На симуляторе.
Посылать аудио и видео сигнал напрямую в мозг научились еще несколько десятилетий назад. Сейчас в секретных лабораториях МГУ учат людей не только набирать текст «мыслью»(13–15 символов в минуту), но и устанавливать скрытый интерфейс «подсознание-компьютер», а в свободной продаже есть устройства любительские от 10.000 руб (NeuroSky, есть в свободном доступе в Хакспейсе) и вполне профессиональные за 200.000 руб (BioRadio, я в в Питере тестил)
О том, как мы докатились до жизни такой (про историю ЭЭГ и нейроинтерфейсов), речь пойдет под катом. (а также про первые попытки использования нейроинтерфейсов дли ИБ).Пока писал этот пост, понял, что Ghost in the shell (вся серия, в т.ч. и манга) — самый наглядный и самый хард-сайнс-фикшн-прогноз ближайшего будущего. Там и взлом глазных протезов (в том числе и спуфинг визуального потока), и взлом кибермозга, и фальсификация воспоминаний.
За последние 10 лет просто лавина открытий — заглядывают в сны, разговаривают с людьми в коме, управляют мозгом мыши при помощи лазера, передают сигнал от мозга в мозг через интернет (1 пиксель), управляют пальцем другого человека при помощи мысли через интернет, создали канал коммуникации компьютер-подсознание, используют человеческий мозг в качестве периферийного сенсора для системы охраны периметра, создали экзоскелет с мозговым управлением для парализованного и пр. А с чего все начиналось?
1875: Ричард Катон открыл наличие электрических сигналов на поверхности мозга животных
1924: Гансу Бергеру удалось зафиксировать при помощи гальванометра на бумаге в виде кривой электрические сигналы от поверхности головы (а не непосредственно от самого мозга, как до него), генерируемые головным мозгом.
1929: Ганс Бергер опубликовал первую работу с описанием экспериментов с ЭЭГ человека
Альфа-волны мозговой активности, имеющие частоту 8–12 Гц, получили название волн Бергера. Проводил исследования электрической активности мозга (прежде всего по параметрам амплитуды) в различных условиях: в спокойном состоянии, при решении задач, при наркозе. В своей книге Psyche (Jena, 1940) обратился к решению проблемы экстрасенсорного восприятия, рассматривая возможности электроволновой модели для объяснения этого феномена и указывая на её недостаточность.
1932: Немецкий инженер Jan Friedrich Toennies сконструировал первый аппарат для записи ЭЭГ, печатающий чернилами на обычной бумаге.(До этого была фотобумага)
1940-е: Уайлдер Пенфилд использовал информацию, полученную в ходе сотен операций на мозге, для создания функциональных карт коры (поверхности) мозга. Он обобщил результаты картографии основных моторных и сенсорных областей коры и впервые точно нанёс на карту корковые области, касающиеся речи. С помощью метода электрической стимуляции отдельных участков мозга Пенфилдом было установлено точное представительство в коре головного мозга различных мышц и органов тела человека. Схематично его изображают в виде «гомункулуса» (человечка), части тела которого пропорциональны зонам мозга, в которых они представлены. Поэтому пальцы рук, губы и язык с большим числом нервных окончаний изображаются крупнее, чем туловище и ноги.
1950-е: Хосе Мануэль Родригес Дельгадо, профессор физиологии Йельского университета, изобрел «Стимосивер» (Stimoceiver) — учёный разработал радиофицированные стимосиверы размером всего с пятидесятицентовую монету, которые можно было вживлять целиком и управлять по FM-радиоканалу
Самый зрелищный эксперимент Дельгадо был проведён в 1963 г. на ранчо в провинции Кордова, Испания. Вживив стимосиверы в мозг нескольких «боевых» быков, он получил возможность управлять всеми их движениями с помощью портативного передатчика. Сохранилась потрясающая фотография, запечатлевшая, как Дельгадо заставил нападавшего быка остановиться как вкопанного всего в нескольких футах от себя, включив стимуляцию хвостатого ядра.
Видео с быком [embedded content][embedded content]
Однако, по мнению учёного, куда большего внимания заслуживает его эксперимент с самкой шимпанзе Пэдди. Животному был вживлён стимосивер, запрограммированный на получение отчётливых сигналов, называемых веретенами, которые спонтанно возникают в миндалине. Как только прибор улавливал веретено, он стимулировал область центрального серого вещества в мозге Пэдди, вызывая «аверсивную реакцию», т. е. болезненное или неприятное ощущение. Через два часа такого воздействия миндалина обезьяны выдавала на 50% меньше веретён, за шесть дней частота их возникновения упала на 99%. Нельзя сказать, что это пошло на пользу Пэдди: она стала «спокойнее, менее внимательной и не такой мотивированной при тестировании её поведения», — писал Дельгадо. Однако он предположил, что подобная техника «автоматизированного обучения» могла бы использоваться для подавления эпилептических припадков, приступов паники или при лечении других заболеваний, сопровождающихся возникновением характерных сигналов в мозге.
Самка макаки (крайняя слева на первой фотографии) быстро поняла, что с помощью рычага можно успокоить своего соседа по клетке — задиристого доминирующего самца. Рычаг посылал сигнал на стимосивер в его мозге, и гнев проходил. Крайний справа на левой фотографии — умиротворённый самец. На другой фотографии он снова стал агрессивен. В начале 60-х гг. Дельгадо провёл множество подобных исследований, изучая влияние стимуляции мозга на социальные взаимоотношения.
1960-e: Грей Уолтер (изобретатель робота-черепашки), который открыл дельта- и тета-ритмы мозга, подключил электроды к мозгу и заставил пошевелить пациента пальцем. Он же изобрел топоскоп.
1960: Элвуд Хеннеман и его коллеги обнаружили, что для «активации» двигательных нейронов наименьшего диаметра требуется более слабый электрический сигнал, чем для нейронов с большим диаметром. Чем больше нейронов завербовано мозгом для совершения действия, тем больше усилия может совершить мышца.
1960-е: Нил Мииллер в начале 60-х по следам опытов James Olds (1956) научил крыс подавать себе электрическое раздражение в центр удовольствия, изменяя параметры любой вегетативной функции (перистальтику, ритм сердца) и даже параметры ЭЭГ, которая «соединялась» со стимулятором. крыса, если ее до этого довести, способна управлять давлением крови в хвостовой артерии. Для этого надо всего лишь прикрепить ей на хвост датчик давления и давать пищу тогда, когда давление превысит некое значение. Голод — мощный стимул к тому, чтобы крысиный мозг научился управлять таким жизненным показателем, который ему не приходится контролировать в обычной жизни.
Не совсем про кровяное давление, но про голодных мышек [embedded content]
1967 психиатр Эдмонд Деван (Edmond M. Dewan) опубликовал в журнале Nature статью об эксперименте, участников которого просили сосредоточиться на тех или иных символах азбуки Морзе. Пока они это делали, электрическую активность их мозга регистрировала электроэнцефалограмма. В моменты концентрации на символах, электроэнцефалограмма менялась. После небольшой тренировки испытуемые смогли с помощью азбуки Морзе передавать аппаратуре целые слова. Было непонятно, какие именно нейроны и волны мозга были задействованы в ходе эксперимента, но это работало — человек впервые смог послать свою мысль машине и быть ею понят.[embedded content]
1968: Джо Камийя (Joe Kamiya) продемонстрировал, что человек может регулировать ритмы своего мозга — усиливать и ослаблять альфа-ритм. (Psychology Today, 1968, 1, 56–60.)
1968 Барри Стерман открыл SMR ритм в 12–15 Hz в сенсомоторной коре. Ритм ассоциируется со спокойствием в теле, готовности совершать моторные действия, с повышенной концентрацией внимания внешнему миру, и улучшения работы памяти.
Первые эксперименты проводились на кошках. Кошек тренировали увеличивать амплитуду волн мозга в диапазоне 12–15 Hz. Позднее, ученый получил заказ NASA на изучение влияния токсина ракетного окислителя (hydrazine) на животных. В группе из 50 кошек, десять тренировали амплитуду SMR. К его удивлению, кошки с увеличенным SMR-ом показали устойчивость к токсину. Кошки с обычным уровнем SMR умерли от воздействия вещества.
В 70-х Sterman предложил тренировать SMR для лечения эпилепсии. Его сотрудница Маргарет (Margarte Fairbanks), страдала от приступов эпилепсии, из-за чего не могла получить водительские права. Она решила опробовать тренировки раннее проводимые только на животных. Конечно не сразу, но симптомы болезни начали отступать. Когда курс был завершен. Она получила водительское удостоверение. В последствии другие ученые также получили положительные результаты.»
В это же время Эберхард Фетц (Eberhard Fetz) заставил обезьяну добывать себе пищу изменением активности одного-единственного нейрона коры мозга. Он связал активность первого попавшегося на электрод нейрона с подачей сока, и мозг обезьяны научился произвольно включать этот нейрон.
1972: Поступил в продажу Кохлеарный имплантат. Устройство, преобразующее звук в электрический сигнал, который подается в слуховой нерв, а мозг учится распознавать эти электрические сигналы как звук. Сейчас примерно 25 000 людей пользуются подобными имплантатами.
Кохлеарный имплантат представляет собой микрофон с передатчиком, который на радиочастотах передаёт звуковые сигналы на внутреннюю часть устройства, установленную в улитке уха, то есть на собственно имплантат. Звуковой сигнал при этом превращается в электрические импульсы, которые передаются на слуховые нейроны и отправляются дальше в кору мозга.
1973: Жак Видаль впервые употребил термин «brain-computer interface» в статье Toward Direct Brain-Computer Communication [pdf]. Так же ученый сформулировал два принципиальных вопроса:
Можно ли использовать данные об электрической активности мозга в качестве носителя информации при общении человека с компьютером?
Можно ли их использовать для управления различными механизмами — от протеза до космического корабля?
1978: Первый имплантат, обеспечивающий видеоканал прямо в зрительную кору. (Видеокамера-компьютер-мозг)Состоит из ч/б видеокамеры (292×512- пиксельная ПЗС-матрица, 69° угол зрения), ультразвукового дальномера, внутричерепного имплантата (68 платиновых электродов в визуальной коре) и компьютера (5 кг).
Вильям Добелль имплантировал зрительный протез 62 летнему пациенту. Имплантат производит черно-белое изображение «фосфенов» зрительной коры, аналогичных изображениям, проецируемым на лампочки стадионных табло.При стимуляции, каждый электрод производит 1–4 близко расположенных фосфенов. Каждый фосфен в кластере воспринимает область диаметром карандаша, расположенном на расстоянии вытянутой руки. Рабочая группа доктора Добелля определила, что в таком случае фосфеновая карта пациента покрывает площадь размерами около 20 см в высоту и 7,5 см в ширину.
Система на пациенте, схема устройства и схема электродов
Система д-ра Добелля обеспечивает слабое околоцентральное туннельное зрение. Картинка, которую видит пациент — черно-белая с дефектом рассеянного поля (вызванного промежутками между фосфенами); восприятие глубины отсутствует.Благодаря ультразвуковому дальномеру удалось передавать дополнительную инфу пациенту (модуляции яркости изображения, частоты мигания и особенностью отдельных фосфенов)
Скорость обновления кадров составляет от 1 до 5 в секунду. Операция уже проводится коммерчески и оценивается примерно в $120K. Данная технология позволяет вернуть зрение только людям, потерявшим его в результате несчастных случаев — то есть тех, кто уже «умел видеть» раньше.
Подробнее на английском «Artificial Vision for the Blind by Connecting a Television Camera to the Visual Cortex»
1988: «виртуальная клавиатура» Фарвела и Дончина. Благодаря это методу люди могут набирать текст, мысленно выбирая нужную букву на пересечении символьных строк и рядов.
Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials.
1998: Исследователь Филлип Кеннеди имплантировал первый BCI (человеко-компьютерный интерфейс) в пациента Джонни Рэя, который потерял подвижность в после инсульта. В результате имплантации Рэй научился двигать курсором.
2004: 25-летний Мэттью Нейгл С помощью вживлённого устройства он получил возможность управлять курсором на экране, читать электронную почту, играть в несложные видеоигры и даже что-то рисовать. Ещё он научился переключать каналы и громкость телевизора и шевелить электромеханической рукой
a) Матрица электродов на одноцентовой монете и вставляемый в череп разъем. b) Массив из ста электродов. с) Расположение массива. d) Первый пациент с установленным интерфейсом (Leigh R. Hochberg, Mijail D. Serruya, Gerhard M. Friehs, Jon A. Mukand, Maryam Saleh, Abraham H. Caplan, Almut Branner, David Chen, Richard D. Penn, John P. Donoghue, 2006)[embedded content]
2008: Первый коммерческий/потребительский нейроинтерфейс на рынке
Дальше понеслась (количество статей на тему интерфейс «мозг-компьютер»)
Интересно, что есть и методы аутентификации на на основе ЭКГ и мыслепаспорт на основе ЭЭГ
Сердце и мозг в качестве документов [embedded content]ЭКГBionym — канадская компания, разрабатывающую уникальную биометрическую систему аутентификации. Основным проектом компании является Nymi, браслет с датчиком сердечного ритма, предназначенный для трехфакторной аутентификации.
[embedded content]Статья The Verge на английском (2013)
ЭЭГ
МыслепаспортПользователям будет достаточно подумать о какой-то вещи, и система автоматически пустит их в программу или сервис.
Мозговые волны уникальны для каждого человека, так что даже если кто-то знал ваш «passthought», то их сигнал все равно будет отличаться. После серии тестов, участники эксперимента завершили семь различных умственных задач с устройством. Простейшие действия, вроде сосредоточивания на дыхании или на какой-то мысли, на протяжении десяти секунд помогали легко осуществлять успешную аутентификацию в компьютерной системе. Тут главное найти задачу, которая бы не напрягала пользователей, чтобы они могли осуществлять ее по несколько раз в день. Например, считать предметы определенного цвета или напевать про себя песенку.
Статья в Wired (2013)Научная статья от Беркли «I Think, Therefore I Am: Usability and Security of Authentication Using Brainwaves»
Впервые идея была предложена в 2007 в статье Person Authentication using Brainwaves (EEG) and Maximum A Posteriori Model Adaptation
WIRED в 2009 озадачились этим вопросом The Next Hacking Frontier: Your Brain?
Есть и российские разработки: Идентификация пользователей на основе электроэнцефалографии с использованием технологий «Интерфейс мозг–компьютер»
Канал утечки секретной информации — ваш мозгOn the Feasibility of Side-Channel Attacks with Brain-Computer Interfaces[embedded content]ПубликацияСтатья в WIREDРеакция Брюса Шнайера: «This is a new development in spyware.»
Немного про «мозговые отпечатки пальцев» в т.ч. для поимки террористов
Как можно развиваться сейчас? NeuroSky 100$ (есть в московском Хакспейсе и в продаже в российских интернет-магазинах)OpenBCI 200$ (заказать из Америки/Европы)Bioradio 200–300 тыс. рублей (есть в Питере, иногда приезжает на выставки в Москве)BioRadioBioRadio — прибор, который можно использовать в нейро- науках/маркетинге/экономике/этике, usability-лабораториях, для управления роботами/машинками/пауками/вертолетами, для медицинских исследований и диагностики. По цене 3d-принтера. Размером с кассетный плеер.
Эта штуковина — полноценная психофизиологическая лаборатория, которая позволяет и управлять роборукой (как сигналами от ЭЭГ, так и миограммой), отслеживать сердечный ритм, плетизмограмму (изменение объема легких), сопротивление кожи и тд.
Основная фишка Биорадио в том, что оно помещается в моей ладони
в то время как полный комплект МГУшного ЭЭГ, с которым я экспериментировал, помещается в багажник автомобиля.
Есть BioRadio API
еще немного про Биорадио
Комплект датчиков
Можно измерить то, как вы ерзаете на стуле, температуру в носу, кровяное давление и силу кисти.ЭЭГ — чувствительный метод исследования (и подвержен помехам), он отражает малейшие изменения функции коры головного мозга и глубинных мозговых структур, обеспечивая миллисекундное временное разрешение, не доступное другим методам исследования мозговой активности, в частности ПЭТ и фМРТ.
В Биорадио можно подключить до 8 каналов ЭЭГ с частотой дискретизации: 250–16000 Гц
Гибкая система визуализации и обработки данных
Современный софт, с визуальной средой разработки и планирования экспериментов
По умолчанию есть мегамного предустановок, например, по работе с роборукой
Пишут научные работы на основе данных с Биорадио
На этом видео лаборант управляет роботом-пауканом электросигналами от мышц[embedded content]
На этом видео стримят физиологические данные от человека которому -3 месяца от роду[embedded content]
Ближайшее будущее
Вот уже на подходе 2 технологии — нейропыль и тату.НейропыльГруппа из Калифорнийского университета в Беркли предложила способ уменьшить размеры имплантируемых элементов до нескольких микрометров и буквально наполнить ими сосудистую оболочку головного мозга.
Устройство частицы «нейропыли»
Разработанные ими сверхминиатюрные электронные сенсоры состоят из выполненной по технологии CMOS микросхемы, пьезокристалла, электродов и изолирующей полимерной оболочки. Принцип их действия напоминает практику использования чипов радиочастотной идентификации (RFID), не требующих встроенного источника питания.
По замыслу авторов, частицы нейропыли свободно циркулируют в кровеносном русле. Практически этого трудно достичь из-за сложного состава крови, биологических механизмов её очистки и структуры эндотелия, но представим на минуту, что названные проблемы решены. Тогда одновременное число микросенсоров в сосудах головного мозга в любой момент времени может исчисляться тысячами.
Каждая из этих «умных частиц» сможет измерять электрическую активность ближайших нейронов. Во время первой фазы пьезоэлектрический кристалл преобразует ультразвуковые волны от промежуточного модуля в электрические сигналы и питает CMOS-схему. Во время второй он действует наоборот — вибрирует под влиянием потенциалов действия ближайшей группы нейронов.
Пьезоэлектрический эффект в частице «нейропыли»
По сравнению с RFID в предложенной схеме есть минимум два важных отличия. Кроме электромагнитных волн (внешний уровень), используется ультразвук (внутренний уровень), а усиление ответного сигнала микросенсоров, его преобразование и дальнейшую передачу обеспечивает промежуточный модуль.Последний размещается под твердой мозговой оболочкой и действует как трансивер, позволяя избежать сильного затухания ультразвука и преодолеть экранирующее действие костей черепа.
Применительно к интерфейсам «мозг — компьютер» в первом приближении это эквивалентно повышению точности определения мысленной команды в десятки раз.Подробнее на Компьютерре или в статье
Гибкие умные «тату«Впервые учёные из Калифорнийского университета в Сан-Диего представили миру это изобретение в 2011 году.Компоненты расположены на площади 1×2 сантиметра. Транзисторы, антенна, катушки, температурные датчики, фотодетекторы, сенсоры ЭЭГ, ЭКГ и ЭМГ. Соединительные контакты из кремния и арсенида галлия.
Статья
Этот высокотехнологичный «бутерброд» имеет толщину в 40 микрон, а для крепежа используется подложка изготовленная из полиэстера — которую так же используют на переводных татуировках для детей.
В настоящее время тату — датчик способен непрерывно собирать данные в течение 6 часов и находится на теле до одних суток, при этом главной задачей исследователи сейчас является увеличить эти показатели. При этом, стоит отметить, что не смотря на уже готовое решение пока не объявляется дата выхода этого устройства для всеобщего использования.
А пока что нейроинтерфейсами занялся маркетинг и хакеры (на конгрессе 31C3 в 2014 был доклад о работе в направлении взлома BCI):[embedded content]
P.S. Наверное, в будущем к антивирусам будут относиться намного внимательнее
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
