Как устроен коннектом, и как его собрать
В настоящее время разработка искусственного интеллекта и разнообразных нейронных сетей впитывает столько ресурсов и привлекает такое внимание, что невольно обходится вниманием смежная тема: разработка искусственной нервной системы. Существует термин «коннектом» — это карта или схема всех нейронных связей в организме, которая теоретически позволила бы воспроизвести всю низшую и высшую нервную деятельность организма. Первый коннектом, который можно считать «proof-of-concept» данной технологии, построен в 1980 году при помощи электронного микроскопа под руководством нобелевского лауреата Сиднея Бреннера (1927–2019). Это карта нейронных связей, которая полностью описывает нервную систему почвенной нематоды Caenorhabditis elegans (C. Elegans), червя длиной около 1 мм. C. Elegans давно привлекает пристальное внимание учёных, и ещё в 1998 году стал первым организмом, чей геном удалось полностью (приблизительно) секвенировать. У самца C. Elegans всего 385 нейронов, а у гермафродита — 302, тогда как даже у примитивных моллюсков насчитываются десятки тысяч нейронов. C. Elegans является излюбленным лабораторным организмом, вот список задач, которые исследовались на особях этого червя.
Успех с картированием нервной системы C. Elegans породил коннектомику — новое научное направление, задача которого — (ре)конструировать нейронные сети живых организмов. По-видимому, создание искусственного червя уже не за горами, а о более отдалённых и амбициозных горизонтах коннектомики я расскажу под катом.
Здесь я не буду подробно останавливаться на свойствах коннектома C. Elegans, так как эта тема уже хорошо разобрана в русскоязычных источниках, например, здесь, здесь и здесь. Более того, всё поведение C. Elegans можно разделить на поисковое, половое и пищевое. Поэтому модель его перемещений легко реализуется в виде компьютерной симуляции и переносится на мобильного робота. Уважаемый @valbok написал об этом пост на Хабре ещё в 2015 году. В статье приводится репозиторий с реализацией кода C. Elegans на С++, а также ссылки на мобильных роботов, не уступающих C. Elegans сложностью коннектома: GoPiGo и EV3. Мы же далее обсудим, каковы нынешние представления, наработки и успехи на пути к пониманию коннектома человека и созданию искусственных коннектомов.
Предыстория коннектомики
Человеческий мозг состоит из миллиардов синапсов, которые дают при срабатывании ещё более многочисленные паттерны и последовательности. Именно эти сложные электрические процессы отвечают за все функции мозга (в том числе, когнитивные и эмоциональные), а также вызывают дисфункции. Подробно разобравшись в карте электрических соединений мозга, можно решить трудную проблему сознания, а также понять, что в принципе делает нас человеком.
Вся совокупность сложных нейронных соединений, образующих мозг — это коннектом человеческого мозга. Это подмножество в составе всего коннектома человека. В настоящее время изучаются и картируются и более ограниченные коннектомы — например, коннектом сетчатки глаза. Коннектом сетчатки изучается в рамках проекта EyeWire, реализованного в виде компьютерной игры, участники которой могут прослеживать и отрисовывать нейронные связи. Карта EyeWire сравнилась по сложности с коннектомом C.Elegans в начале 2017 года, когда был картирован 250-й нейрон. На Хабре в ноябре 2017 года также вышел интересный пост об EyeWire под авторством уважаемого @ggreminder.
Коннектом как биологическая структура состоит из белого вещества, связывающего кору больших полушарий и подкорковые структуры (серое вещество). Он действует как провода, передающие информацию между функциональными зонами мозга.
Термин «коннектом» был предложен в 2005 году Олафом Спорнсом, нейрофизиологом из Университета Индианы. Именно он и его группа пришли к выводу, что собранная вручную карта нейронов C. Elegans — это полноценный коннектом и что достаточно воспроизвести эту систему связей в синтетическом организме — и этот организм будет вести себя именно как C. Elegans. Это не столько лабораторная, сколько вычислительная задача, и путь к её решению лежит через сбор и анализ больших данных.
В 2019 году Хервиг Байер и Михаэль Кунст из Института нейробиологии им. Макса Планка (совместно с коллегами из Японии и Италии) взялись картировать коннектом малька аквариумной рыбки данио-рерио. Естественно, малёк — не взрослая особь, но его исследование приближает нас к пониманию коннектома позвоночного организма, гораздо более близкого к нам в эволюционном отношении, чем C. Elegans. У малька данио-рерио примерно 2000 нейронов, и работа немецких учёных неслучайно называется «A Cellular-Resolution Atlas of the Larval Zebrafish Brain» (клеточный атлас мозга малька данио-рерио). Коннектом личинки позвоночного настолько сложен, что понимается не как единое целое, а как совокупность функциональных зон. В мозге человека также потребовалось бы картировать сначала коннектомы функциональных зон и внутренние связи каждой такой зоны, а затем — общую карту мозга. Выявление функциональных зон мозга — работа, которая также впервые была предпринята в Германии ещё в 1909 году.
Тогда немецкий невролог Корбиниан Бродман попытался конкретизировать физиологию различных зон мозга, основываясь на их функциональных свойствах и гистологическом анализе. Он выделил в мозге человека 47 «полей», позже получивших название «цитоархитектонические поля Бродмана». Он показал, что каждое из полей решает собственные задачи, например, поле 4 отвечает за моторные функции, а поле 17 — за обработку визуальной информации. Бродман проверял клеточные свойства различных участков коры больших полушарий и пытался определить границы между зонами, где эти свойства явно отличаются. В течение XX века карта Бродмана не только во многом подтвердилась, но и была уточнена — в настоящее время в мозге человека выделяют 52 функциональных поля. Здесь показано, за что отвечает каждое из этих полей, а также проиллюстрированы сходства и различия между этими полями у человека и мартышек. Уточнение бродманнской карты мозга производилось при тщательном изучении дефектов и поражений мозга. Именно моторные функции страдают при повреждении зоны 4 и зрительные — при поражении зоны 17. Краткая карта полей Бродмана в настоящее время выглядит так:
Правда, модель Бродмана не слишком хорошо объясняет даже умеренно сложные нейрофизиологические функции. Карта Бродмана изначально была концептуально верной, но лишь приблизительной, это скорее «физическая» карта мозга, чем «политическая». Эта карта ничего не говорит о том, как взаимодействуют различные зоны мозга, не объясняет, как устроено познание, мышление, эмоции. Соответственно, она не слишком помогает при исследовании таких расстройств как депрессия, шизофрения или аутизм — поскольку в них вовлечены разные зоны мозга, а повреждаются не зоны как таковые, а взаимодействия между ними. Даже речевые и двигательные расстройства понимаются по карте Бродмана лишь в самом общем виде.
Здесь мы подходим именно к той составляющей коннектомики, которая сближает её с геномикой. В коннектоме, как и в геноме, важно не столько каталогизировать все составляющие, сколько охарактеризовать связи между ними и показать, в каких направлениях это множество данных можно (и нельзя) расширять и надстраивать. Коннектом принципиально сложнее генома: ДНК человека содержит примерно 3·109 пар оснований, организованных примерно в 2·104 генов, кодирующих человеческие белки. В свою очередь, коннектом одного лишь человеческого мозга (а не всей нервной системы) содержит 1,25·1014 синапсов. Тем не менее, логично предположить, что коннектом человека будет прочитан при простом наращивании вычислительных мощностей, и мы сможем построить полные карты человеческого коннектома в высоком разрешении. Сначала станет всё проще секвенировать отдельные коннектомы, а затем и создавать искусственные коннектомы, как минимум, сравнимые по сложности с картой нейронов C. Elegans. Можно представить себе «глубокое сканирование коннектома» подопытного организма с получением матрицы смежности его нейронов. Такая технология позволяла бы, например, быстро восстанавливать повреждённую сеть нейронов при нейродегенеративном заболевании, не просто восстанавливая нормальное функционирование мозга после инсульта или болезни Альцгеймера, но и восстанавливая личность и воспоминания данного конкретного человека. Тем интереснее было бы получить макеты коннектомов для создания синтетических нервных систем для новых многоклеточных животных. Рассмотрим, какие правила коннектомики можно сформулировать уже сегодня, и как они могли бы реализовываться в практическом конструировании организмов.
Правила коннектомики
Попробуем охарактеризовать правила, позволяющие эмулировать входную информацию (поступающую от органов чувств), работу больших полушарий и моторный вывод. Правила выявлены эмпирически, некоторые из них могут показаться чрезмерно простыми и даже тривиальными, но они явственно отделяют коннектомику от глубокого обучения или от иерархической темпоральной памяти (HTM) — во многом потому, что коннектомика изучает не столько функциональные зоны внутри мозга, сколько соединяемость между ними. Учитывая известные недостатки глубокого обучения, в частности, переобучение и насыщение моделей, можно предположить, что именно коннектомика позволила бы создать наиболее реалистичный искусственный интеллект в компьютерной сети.
1. Коннектом всегда включён (активен), как и человеческая нервная система. При этом коннектом может переходить в спящий режим, для выхода из которого ему требуется заданный сенсорный ввод. Соответственно, для нормальной работы коннектому требуется как сетевая, так и вычислительная избыточность.
2. Для коннектома характерна исключительная рекурсивность, а в человеческом мозге она, вероятно, растёт экспоненциально. Если взять нейрон коры и проследить его синаптические соединения с более глубокими нейронами, то оказывается, что от многих из глубоких нейронов идут обратные синапсы к исходному. Такое множество нейронов легко переплетается с другим множеством нейронов, где один также относится к коре, а остальные являются глубокими — и так далее. Возможно, именно так и обеспечивается избыточность коннектома.
3. Что касается «реализации времени» в любой нервной системе, здесь можно выделить два основных темпоральных аспекта:
1) Время поляризации; оказывается, что когда нейрон (естественный или смоделированный) в течение данного времени не стимулируется, его внутренняя функция времени обнуляется. То есть, без стимуляции нейрон выключается. Нейрон может либо (почти) непрерывно работать, либо вообще не работать.
2) Сетевая топология коннектома также развивается как функция времени. Если одни нейроны сработают раньше других, получим один набор поведений. Но, если те же самые нейроны сработают в другом порядке, то и поведения будут совершенно иными.
4. В работе мышц (и, потенциально, в работе приводов в случае применения искусственного коннектома) наблюдается эффект сглаживания. Моторные сигналы, поступающие от нейронов, являются дискретными, но здоровые мышцы работают плавно и слаженно, то есть, не испытывают «перебоев» с сигналом. Возможно, в организме за такое сглаживание сигнала отвечает мозжечок, и эта фича обязательно должна быть реализована и в искусственном коннектоме. Также необходима дополнительная координация двигательной активности и нервных реакций «коры».
Создание искусственного коннектома
Именно на эти наблюдения опирался Тимоти Басбайс, автор проекта OpenWorm по эмуляции коннектома C. Elegans на мобильном роботе. Он предположил, что при попытке собрать коннектом с нуля потребуется наладить соединяемость между сенсорными и моторными путями, и что связи в коннектоме C. Elegans можно формализовать при помощи алгоритма «мир тесен» Уоттса и Строгаца. Тем не менее, смоделированные им испытания показали, что граница между «слишком сильной» и «слишком слабой» связностью трудноуловима, но при этом принципиальна. Сильная связность обеспечивает непрерывную работу модели, но сигнал без разбора подаётся на все моторные нейроны (и на мышцы), поэтому мышцы постоянно остаются активны. В слабосвязанном коннектоме требуется слишком долго стимулировать моторные нейроны для активации. Кроме того, такая нервная система неспособна к самостимуляции, и всякая активность в ней прекращается, как только перестаёт поступать сенсорный ввод. Соответственно, в живой природе окно для создания работоспособных коннектомов было весьма узким. Отбор благоприятствовал коннектомам, срабатывающим от минимального сигнала, но при этом избирательно различающим важный и не важный сигнал, а также приспособленным к непрерывной работе с переключением между «ждущим» и «активным» режимом.
Пример смоделированного на компьютере синтетического коннектома в сравнении с коннектомом C. Elegans
Для сборки синтетических коннектомов потребуется изобрести инструментарий, который позволял бы искусственно менять рисунок связей в нервной системе (мозге) in vivo. Здесь важно отличать приёмы, влияющие на активность нейронов, от приёмов, влияющих на соединяемость. Так, уже известны препараты, регулирующие выделение нейромедиаторов или блокирующие постсинаптические рецепторы, но мне не удалось найти информации об аналогичных веществах, которые влияли бы на конфигурацию коннектома, особенно в реальном времени. Имеющиеся препараты нацелены на отдельные нейроны и на общий ввод или общий вывод нейрона.
Правда, известны терапевтические процедуры, влияющие на взаимодействие между конкретными зонами, и именно их можно считать работой непосредственно над соединяемостью коннектома. Основными характеристиками таких манипуляций являются
1. Специфичность — точное нацеливание на конкретную пару мозговых узлов,
2. Модульность — применимость любого такого воздействия к произвольной паре мозговых узлов, при условии точного нацеливания,
3. Масштабируемость — потенциальная возможность одновременно модифицировать множество нейронных связей, а в перспективе и целый коннектом,
4. Стабильность — сохраняемость синтетической конфигурации в течение длительного времени без необходимости поддержки извне.
Теоретическая модель искусственного коннектома
Исходя из вышеизложенного, можно считать каждый коннектом микроскопическим (а потенциально и макроскопическим) вычислительным узлом, основная фича которого — свободная соединяемость с аналогичными узлами и, следовательно, горизонтальное масштабирование. Коннектом будет составляться из множества регионов, каждый из которых будет отличаться высокой степенью рекуррентности. Кроме того, внешний контур региона должен быть таким, чтобы регион, во-первых, был как можно шире соединён с другими регионами, а во-вторых — располагал пространством для дальнейшей соединяемости с новыми регионами. Вот пример простого искусственного коннектома, взятый отсюда.
Сенсорные данные кодируются и отправляются на обработку в сенсорные вычислительные блоки (SPU), которые затем соединяются с кортикальными вычислительными блоками (CPU), а кортикальные вычислительные блоки, в свою очередь — с моторными вычислительными блоками (MPU), стимулирующими мышечную активность и вызывающими требуемые действия. При этом все SPU и CPU в одном регионе являются взаимосвязанными, и сигналы между ними передаются в обоих направлениях, а каждый из мелких регионов в рамках искусственного коннектома сам по себе является коннектомом.
Вычислительные методы
Основной структурой данных в программной реализации коннектома могла бы быть матрица смежности, в которой каждый ряд соответствует вектору соединяемости (ребру графа) и может использоваться для увеличения взвешенных значений по мере срабатывания отдельных нейронов. Кроме матрицы смежности (в ней будут храниться связи коннектома и их веса), нам понадобятся и следующие массивы, и каждая ячейка в таком массиве будет соответствовать отдельному нейрону:
Массив, в котором будут храниться данные о накоплении весов
Массив, содержащий временные метки, по которым можно судить, когда в последний раз данный нейрон был простимулирован
Массив, содержащий пороговое значение восприятия для каждого нейрона
Массив, накапливающий показатель «обучения»
Массив, накапливающий показатель «роста»
Два последних массива отвечают за общую нейропластичность системы, то есть, обеспечивают ее информационное наполнение и постепенное увеличение.
Кроме двух последних массивов здесь наиболее интересен тот, что отвечает за восприятие. Нейрон должен постепенно накапливать потенциал, и по достижении порогового значения — срабатывать. Как было указано выше, при этом нейрон не должен чрезмерно долго простаивать, чтобы не терять чувствительности. При срабатывании нейрона все его веса должны обнуляться. Кроме того, нужно предусмотреть «усталость» нейронов — чем чаще нейрон срабатывает, тем выше должен становиться порог, после которого он сработает в следующий раз.
Чтобы смоделировать нейропластичность, потребовалось бы усиливать те связи между нейронами, которые используются наиболее активно. «Ёмкость» каждого нейрона при обучении также должна была бы иметь верхнюю границу, поэтому, по её достижении, нейрон должен был бы образовывать новые синапсы с другими нейронами, участвующими в решении тех же задач.
Заключение
Создание синтетического коннектома представляется возможным хотя бы потому, что коннектомы самой разной сложности возникли в живой природе в результате эволюции. Возможно, при наращивании вычислительных мощностей расшифровка человеческого коннектома поддастся нам точно так, как поддалась расшифровка генома. По аналогии с геномом, вслед за такой расшифровкой могут быть созданы инструменты редактирования коннектома, подобные CRISPR-Cas. Такая технология позволила бы не только восстанавливать мозг после инсульта и лечить тяжелые нейродегенеративные заболевания (например, боковой амиотрофический склероз, погубивший Стивена Хокинга), но и создавать совершенно новые коннектомы, не существующие в природе. Сложно представить, были бы это новые живые организмы, аддоны к человеческому мозгу или буквально воплощённый «think tank». Меня же в вышеизложенной картине наиболее озадачивает, что коннектомика в нынешнем виде не слишком напоминает построение глубоких нейронных сетей. Она должна опираться не на статистические закономерности и не на обучение на огромных датасетах, а, вероятно, на эволюционные алгоритмы и контролируемое наращивание синапсов. Первые коннектомы, вероятно, будут «чёрным ящиком» в ещё большей степени, чем современные нейронки. Я полагаю, что именно такие разработки могут привести нас к синтезу искусственного сознания или позволят создать аналог демона Лапласа (охватывающий конечный период времени). Надеюсь, что осуществимость этих идей и вопрос о том, как коннектомика вписывается в разработку современных нейронных сетей будут раскрыты в комментариях или послужат кому-нибудь стимулом самостоятельно написать об этом на Хабре.
