Протез для мозга: синхронизация искусственной и биологической нейронных сетей
Концепция протезирования, т.е. попытка замены недостающей части тела искусственным аналогом, существует уже очень давно. Первые упоминания о протезировании можно найти в записях, датируемых позднее 1500 года до н.э. И в этом нет ничего удивительного, поскольку простейшие формы протезирования действительно просты, а потому могли быть выполнены кустарно и в те далекие времена (вспомните пиратов с их крюками и деревянными ногами). Однако протезирование не ограничено лишь внешне очевидными проблемами здоровья. Все мы знаем про искусственные суставы, сосуды, клапаны и т.д. Но даже эти аугментации ничто по сравнению с протезированием части мозга, ибо мозг — самый сложный орган нашего тела. Сегодня мы с вами познакомимся с исследованием, в котором ученые из Токийского университета нашли способ заставить реальные нейроны работать в паре с искусственными. Какие технологии и методики были задействованы в разработке, насколько эффективна связь между синтетическим и биологическим, и какое применение сего открытия на практике? Об этом нам расскажет доклад ученых. Поехали.
Основа исследования
Мозг человека регулярно сравнивают с компьютером и это сравнение вполне оправдано. Какие-либо заболевания или травмы мозга влияют непосредственно на структурные и функциональные свойства мозговых сетей и цепей, вызывая гибель клеток, потерю синапсов и потерю аксонов. Подобные процессы ухудшают возможности локальной обработки информации и обмена ею между удаленными цепями, нарушая процесс сегрегации и интеграции информации в мозге. Логично, что подобные проблемы необходимо решать. Одни методы больше нацелены на восстановление — регенерация клеток, другие склоняются к замене — протезирование недостающих «магистралей». Регенеративные методики, разрабатываемые на данный момент, вполне успешно справляются с дефектами на небольших расстояниях. Однако, когда речь идет о потере связи между удаленными участками мозга, они бессильны ввиду сложности перепрограммирования и воссоздания нейронных схем.
Если же не выходит что-то восстановить, значит нужно это заменить. По словам ученых, за последние десятилетия был достигнут внушительный прогресс в реализации нейропротезирования, когда искусственные импульсные нейронные схемы локально способны получать и обрабатывать входные данные в режиме реального времени. При этом входные данные могут предоставляться как локально, так и удаленно; как с помощью электрической, так и с помощью оптогенетической стимуляции.
Вариантов методик в нейроморфной инженерии для создания импульсных нейронных сетей (SNN от spiking neural network) и искусственных синапсов существует достаточно много. Нейроиндуцированные SNN сильно отличаются от своих биологических прародителей, но отлично подходят для вычислений и разработки искусственного интеллект. А вот нейромиметические SNN более успешно имитируют активность реальных нервных клеток и работают в ускоренном или биологическом (реальном) масштабе времени. Минус данного варианта SNN в том, что его можно воспроизвести программно, а вот в реальности он не работает. В противовес им имеются аппаратные SNN, которые работают в режиме реального времени, имеют низкое энергопотребление и являются встроенными. Такие характеристики являются самыми привлекательными для создания гибридной системы, т.е. для нейропротезирования.
Аппаратные средства СНН15–21 можно классифицировать на две группы: аналоговая реализация и цифровая реализация. Цифровая реализация имеет преимущество в том, что она настраивается и проще в обработке, несмотря на более высокое энергопотребление.
Это все великолепно, заявляют ученые, однако все эти системы SNN ничто, если они не могут работать в паре с реальными биологическими системами. Создать же соединение между искусственным и биологическим пока еще не удавалось.
В своем докладе исследователи демонстрируют первую рабочую имплементацию связи в реальном времени и передачи информации от аппаратного SNN, реализованного на плате FPGA и биологической нейронной сети (BNN) за счет динамического кодирования SNN по шаблонам, используемых для оптогенетического стимуляция BNN.
Шаблоны активности генерируются с помощью SNN, затем они кодируются в реальном времени в уникальные паттерны синего света — двоичные изображения (8х8 пикселей), генерируемые с помощью цифровой обработки света (DLP) с использованием модифицированного видеопроектора с микропроецированием на двумерную нейронную сеть (культура), выращенную на многоэлектродной матрице (MEA).
Нейроны, использованные в опытах, были трансдуцированы* с использованием аденоассоциированного вируса* (AAV) для экспрессии белка ChIEF27.
Трансдукция* — перенос ДНК из одной клетки в другую.
Аденоассоциированный вирус* — малый вирус, который инфицирует клетки человека, однако не вызывает никаких заболеваний, потому вызывает слабый иммунный ответ.
Ввиду этой процедуры, нейроны возбуждались при стимуляции синим светом, и их активность регистрировалась как с помощью устройства MEA, так и с помощью кальциевой визуализации (ПЗС-камера (ПЗС от прибор с зарядовой связью) с электронным умножителем была установлена на микроскопе).
Результаты исследования
Изображение №1
Экспериментальная установка (1А) состоит из трех основных компонентов, расположенных вокруг эпи-флуоресцентного микроскопа.
Схема эпи-флуоресцентного микроскопа.
Основные компоненты установки:
- импульсная нейронная сеть (1B), работающая на плате FPGA (field-programmable gate array, т.е. программируемая пользователем вентильная матрица);
- система для вывода изображения SNN-FPGA (доставляется на цифровой световой проектор через видеопорт на 1C);
- биологическая нейронная сеть, экспрессирующая ChIEF-mCitrine (под контролем человеческого промотора белка синапсина hSyn), которая обеспечивает оптогенетическую активацию нейронов синим светом.
Таблица №1
Чтобы имитировать активность реальной биологической нейронной сети, SNN генерировала спонтанную активность, характеризующуюся нейронными синхронизациями с аналогичными характеристиками (с точки зрения длительности, частоты и количества рекрутированных нейронов), которые генерировались с помощью используемых кортикальных BNN (от 0.1 до 1 Гц).
Четыре различных SNN (таблица 1), использованных в 12 экспериментах, были составлены из 100 нейронов Ижикевича (80 возбуждающих и 20 ингибирующих), реализованных в FPGA (таблица 2), и обеспечивали диапазон динамики с синхронизацией сети (NS), которая охватывала от 0.25 до 1 Гц (таблица 3).
Таблица №2: ресурсы FPGA. LUT и FF — основные компоненты логических блоков в FPGA; LUTRAM и BRAM — технологии памяти; DSP (цифровая обработка сигналов) — схемы, используемые для сложных цифровых вычислений, таких как умножение.
Таблица №3: параметры экспериментов. Для каждого эксперимента выбирается сразу несколько переменных: одна из четырех SNN, пороговое значение (N) импульсов нейронов и длительность (T) временных окон для вычисления синхронизации сети.
SNN генерировала активность с временным разрешением 1 мс, а NS определялись, когда по крайней мере N нейронов из 64 создавали импульс в интервале времени B. Четыре SNN представляют различную активность, так как их нейроны, синапсы и параметры связности изменялись в разных экспериментах.
Спонтанная активность SNN была преобразована в режиме реального времени в двоичные матрицы размером 8х8 пикселей, где каждый элемент матрицы был равен нулю (т.е. без света), если его соответствующие назначенные импульсные нейроны не запускались, или единице (т.е. излучение света), если нейроны активировались.
Как только NS бала идентифицирована, засвечивалось соответствующее преобразованное изображение. Далее на основе активности SNN модуль детектора сетевой синхронизации создавал сигнал транзисторно-транзисторной логики (TTL) к устройству-стимулятору и формировал освещенность VGA изображения, соответствующего матрице 8х8.
Как мы уже догадались, одной из основных частей установки является система видеопроектора. Изображение с двоичной матрицей 8х8, сгенерированное как выходная активность SNN, преобразовывался в изображение 800х600 пикселей через VGA порт видеопроектора, где вместо оригинальной лампы был использован мощный синий светодиод. Двоичная матрица 8х8 (0 = черный, 1 = синий) отображалась в центральной части 800х600 пикселей, а все остальные пиксели были нулевыми (черными)
Изображение, сгенерированное цифровым микрозеркальным устройством (DMD) видеопроектора, было спроецировано в эпи-флуоресцентный микроскоп через дополнительный оптический путь, проходящий между камерой и фильтр-кубом, расположенным над образцом (1С). Фокусировка DMD-изображения на порте микроскопа была оптимизирована так, чтобы можно было проецировать все сгенерированные изображения в поле зрения микроскопа через 10-кратное увеличение с достаточной мощностью, чтобы вызвать потенциалы действия в нейронах, экспрессирующих ChIEF. Спроецированное DMD-изображение было расположено в фокальной плоскости линзы с фокусным расстоянием 250 мм, что позволило увеличить изображение примерно в четырнадцать раз.
Итак, пока есть искусственная нейронная сеть и средство фиксации данных. Следующая неотъемлемая составляющая данного эксперимента это, конечно, BNN, т.е. биологическая нейронная сеть.
Для BNN были использованы нейронные культуры от 21 до 28 DIV (days in vitro — дней «в стекле», т.е. число дней, проведенное культурой в пробирке или в чашке петри). Активность нейронов регистрировалась посредством стандартной (8х8) чашки MEA* с межэлектродным расстоянием в 200 мкм (2A).
MEA* (Microelectrode array) — микроэлектродная решетка это устройство, в котором имеется несколько (от десятков до тысяч) микроэлектродов, через которые происходит получение или отправка нейронных сигналов. MEA является нейронным интерфейсом между нейронами и электронными схемами.
Изображение №2
Возбуждающие и ингибирующие нейроны трансдуцировали (под промотором hSyn) при 7 DIV для экспрессии ChIEF-mCitrine (2B). Скорость экспрессии во всей популяции нейронов при 21 DIV составляла 70 ± 13%. Результаты кальциевой визуализации (2В) были получены посредством 10-кратного увеличения камерой EMCCD установленной на микроскопе, с полем зрения 800х800 мкм, что примерно равно пространству между 4х4 электродами MEA (2А).
Проецируемое изображение (то есть стимул) было применено в том же поле зрении, но на немного меньшей площади (2C).
Синхронизация времени различных устройств была выполнена через систему сбора данных MEA, в которой сигнал с каждого из 60 электродов был одновременно записан на сигнал TTL, активирующий протокол стимуляции, управляющий драйвером светодиода (включение и выключение синего света) и сигнал одиночного кадра, полученный камерой.
Следует отметить, что система MEA обнаруживала активность BNN до, во время и после включения стимуляции (т.е. когда была активирована потенциальная связь между SNN и BNN).
Изображения №3
В ходе исследования было проведено 12 экспериментов, в каждом из которых для обнаружения синхронизации сетей использовался определенный вариант SNN и других параметров (таблица 3), что должно было увеличить число стимулов на минуту времени.
Ввиду изменения параметров SNN генерировала разные выходные данные (OUTPUTs) с различными диапазонами частоты (измеренной как интервал между стимулами, 3А) и интенсивности (интенсивность стимула 100% означала, что все 64 квадрата матрицы 8х8 включены, 3В).
Частотный интервал синхронизации сетей для SNN был установлен [0.25; 1] Гц. Столь точный выбор этих значений позволял нейтрализовать какие-либо перекрытия стимуляций, поскольку протокол стимуляции длится 310 мс, а кортикальные BNN генерируют среднюю синхронизацию нейронов между 0.1 и 1 Гц.
Передача информации (IT от information transmission) между SNN и BNN была количественно оценена с учетом корреляции сходства между INPUT парами (SIP, 4А) и сходства между OUTPUT парами (SOP, 4C).
Изображение №4
Суть заключается в том, что когда происходит передача информации, два аналогичных INPUT для BNN должны вызывать два аналогичных OUTPUT паттерна в BNN.
Далее проводилась оценка передачи информации в течение 12 экспериментов с разными параметрами (линейность отклика сети, средняя частота / интенсивность стимуляции и т.д.; 5C–5G) и разными метриками (коэффициент увлечения BNN и коэффициент подавления синхронизации сетей, SIP измерялись коэффициентом Жакара).
На изображении 4А показана матрица сходства INPUT для репрезентативного эксперимента, во время которого из SNN в BNN было доставлено около 200 стимулов.
SOP были рассчитаны на основе ответной векторной сетевой реакции BNN (4B). В частности, было рассчитано число импульсов, записанных каждым электродом в пределах временного окна T после доставки стимула SNN. Далее для каждого стимула была построена векторная сетевая характеристика (VNR, слева на 4B) и рассчитана матрица, представляющая SOP (4С). Помимо этого был рассмотрен и ответ скалярной сети (SNR) на каждый стимул, рассчитанный как сумма по VNR (справа на 4B).
Изображение №5
Для начала была проведена оценка того, как изменялся SNR в зависимости от интенсивности стимула. При рассмотрении всего временного окна ответа (500 мс) после стимула было установлено, что ответ имел неоднозначную природу: SNR было приблизительно линейным по отношению к интенсивности стимула с корреляцией 0.70, когда рассматривались только ответы, не превышающие 1/8 от максимального, тогда как NR были примерно равномерно распределены выше такого порога. Аналогично, когда было выбрано более короткое время отклика (50 мс) и при фокусировке на NR с порогом ниже 1/6 максимума, между NR и интенсивностью стимула наблюдалась корреляция 0.57.
Поэтому для каждого эксперимента было определено оптимальное временное окно ответа T (от 1 до 50 мс, 5С-5Е) и оптимальный порог отклика сети (5С). За счет этого удалось максимизировать передачу информации между SNN и BNN. Оптимальная передача информации была получена в 8 из 12 опытов (5G).
Далее ученые рассмотрели, как передача информации связана с интенсивностью и частотой стимула от SNN, которые оба формируются спонтанными SNN сетевыми синхронизациями, имитирующими те, что происходят в BNN (изображение ниже).
Изображение №6
Передача информации сильно коррелировала со средней интенсивностью стимула и показала колоколообразную кривую как функцию средней частоты стимула, достигшую максимума при 0.56 Гц.
Исследователи также отмечают, что спонтанные синхронизации сетей в отсутствие внешнего стимула также могут происходить, потому далее они изучили взаимосвязь между синхронизациями сетей (NS) в BNN и передачей информации. Спонтанные NS в BNN (в отсутствие стимулов, т.е. когда связь между SNN и BNN была отключена) происходили со средней частотой 0.37 ± 008 Гц. Также наблюдалась и высокая корреляция между подавлением NS и передачей информации (изображение №8).
Изображение №7
Подавление спонтанных NS было определено количественно как отношение частоты спонтанных NS BNN в базовых условиях (т.е. когда SNN и BNN были отключены) к частоте спонтанных NS, когда была включена связь между SNN и BNN. Спонтанные NS в присутствии стимулов, поступающих из SNN, рассматривались как те, которые возникают по крайней мере через 500 мс после доставки последнего стимула (изображение №7).
Изображение №8
Общие результаты показали, что передача информации может быть достигнута лишь при линейной реакции ответов сети на стимулы. Кроме того, лучшие результаты были достигнуты в период ранней реакции, т.е. во время первых сотен миллисекунд от начала стимулирования.
Максимальное значение передачи информации было получено, когда частота стимулов была около 0.56 Гц, что лишь немного выше частоты биологических нейронных сетей (0.37 Гц).
Вышеописанные результаты, по словам автором исследования, подтверждают теорию о том, что активность BNN должна быть сильно увлечена поступающими стимулами от SNN, чтобы надежно обрабатывать ее в рамках линейного режима.
Для более подробного ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых и дополнительные материалы к нему.
Эпилог
Данное исследование на практике подтвердило, что связь между искусственной нейронной сетью и реальной вполне возможна. Конечно, как признаются сами ученые, среди тысяч использованных в опытах нейронов лишь сотни вошли в режим синхронизации.
Сравнивать искусственную сеть и биологическую достаточно сложно. Одной из проблем является спонтанность, которая присуща реальным биологическим нейронным сетям. Спонтанная активность в нейронах вызывает синхронную активность, которая соответствует определенному ритму, на который могут влиять связь между нейронами, типы нейронов в этой связи, а также их умение адаптироваться и меняться ввиду новых условий работы. Другими словами, нейронные сети порой весьма непредсказуемые, когда создают столь сложную систему синхронизации, будто порождая порядок в хаосе.
Следовательно, дабы достичь синхронизации искусственной и биологической сетей, необходимо было подогнать искусственную под этот ритм. Во время исследования удалось достичь хороших результатов в этом непростом деле, хоть и потребовалось несколько неудачных опытов.
Основной целью своего труда ученые называют разработку нейронных протезов, которые смогут успешно заменять поврежденные участки мозга. Звучит это весьма футуристично, чем-то отдаленно напоминая фильм «Джонни-мнемоник». Тем не менее, цель благородная, а посему хочется верить, что авторы сего труда в будущем смогут успешно усовершенствовать свою разработку.
Благодарю за внимание, оставайтесь любопытствующими и хорошей всем рабочей недели, друзья! :)
Немного рекламы :)
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
