[Перевод] У отростков нейронов человека обнаружились неожиданные способности к вычислениям
Дендриты, отростки некоторых нейронов в мозге человека, могут производить логические вычисления, на которые, как считалось ранее, способны лишь целые нейронные сети
Тонкие дендриты, напоминающие корни растения, расходятся во всех направлениях от тела клетки этого коркового нейрона. Отдельные дендриты могут самостоятельно обрабатывать сигналы, получаемые от соседних нейронов, перед тем, как передать их на вход клетки
Часто нам рассказывают о том, что способность мозга к обработке информации кроется в триллионах связей, соединяющих его нейроны в сеть. Но в последние несколько десятилетий всё больше исследований постепенно переводят внимание на отдельные нейроны, которые берут на себя гораздо большую ответственность за вычисления, чем можно было представить ранее.
Самое новое из этих многочисленных свидетельств связано с открытием учёными нового типа электрического сигнала, проходящего по верхним уровням коры мозга человека. В лабораторных исследованиях и на моделях уже было показано, что крохотные отсеки дендритов, отростков нейронов коры мозга, сами по себе способны выполнять сложные операции из области математической логики. Однако теперь, судя по всему, оказывается, что отдельные отсеки дендритов могут также выполнять особую операцию — «исключающее ИЛИ» (XOR) — которая, как считалась ранее, недоступна для отдельных нейронов.
«Мне кажется, мы пока совсем неглубоко копнули в область того, чем на самом деле занимаются нейроны», — сказал Альберт Гидон, постдок из Университета Гумбольдта в Берлине, ведущий автор опубликованной в журнале Science работы, где описано это открытие.
Это открытие демонстрирует всё возрастающую потребность в том, чтобы в работах, изучающих нервную систему, отдельные нейроны рассматривались как сложные обработчики информации. «Мозг может оказаться куда как более сложным, чем мы думали», — сказал Конрад Кординг, вычислительный нейробиолог из Пенсильванского университета, не принимавший участия в данной работе. Возможно, открытие также может побудить специалистов по информатике к изменению стратегий работы искусственных нейросетей, в которых нейроны всегда рассматривались в качестве простых переключателей.
Ограничения модели тупых нейронов
В 1940-х и 50-х в нейробиологии начало доминировать определённое представление: о «тупой» роли нейрона в качестве простого интегратора, точки сети, суммирующей все входы. Ветвящиеся отростки клетки, дендриты, получают тысячи сигналов от соседних нейронов — некоторые из которых возбуждающие, другие — тормозящие. В теле нейрона все эти сигналы взвешиваются и суммируются, и если сумма превышает некий порог, нейрон выдаёт последовательность электрических импульсов (на самом деле, электрических потенциалов), управляющих стимуляцией соседних нейронов.
Примерно тогда же исследователи поняли, что единственный нейрон может работать и как логический вентиль — как те, из которых состоят цифровые схемы (хотя пока неясно, как именно мозг проводит эти вычисления при обработке информации). Нейрон был, по сути, «вентилем И», поскольку он активировался, только получив необходимое количество данных на вход.
Таким образом, сеть нейронов теоретически могла проводить любые вычисления. И всё же такая модель нейрона была ограничена. Её вычислительные метафоры были слишком упрощёнными, к тому же учёным десятилетиям не хватало экспериментальных агрегатов, способных вести записи активности различных компонентов одного нейрона. «Это, по сути, сжимало нейрон до точки в пространстве», — сказал Барлетт Мел, вычислительный нейробиолог из Южно-Калифорнийского университета. «У него не было внутренних проявлений активности». Модель проигнорировала тот факт, что тысячи входящих в нейрон сигналов оказывались на разных точках его различных дендритов. Она игнорировала идею (впоследствии подтверждённую), что отдельные дендриты могут работать по-разному. И она игнорировала возможность того, что различные вычисления могут проводить и другие внутренние структуры нейрона.
Однако в 1980-х всё начало меняться. Модели нейробиолога Кристофа Коха и других, которые впоследствии подтвердили в экспериментах, демонстрировали, что один нейрон не выдаёт единственный или однородный по напряжению сигнал. Вместо этого сигналы уменьшались, проходя по дендриту внутрь нейрона, и часто вообще не вносили вклада в итоговый выход клетки.
Такая изолированность сигналов означает, что отдельные дендриты могут обрабатывать информацию независимо друг от друга. «Это противоречило гипотезе точечного нейрона, в которой нейрон просто складывал всё вне зависимости от местоположения», — сказал Мел.
Это побудило Коха и других биологов, включая Гордона Шеперда из Йельской медицинской школы, смоделировать, как структура дендритов в принципе могла бы позволить нейрону работать не как простейший логический вентиль, а как сложная многокомпонентная система обработки сигналов. Они симулировали дендритные деревья, на которых расположено множество логических операций, работающих посредством гипотетических механизмов.
Позднее Мел с коллегами более подробно изучили то, как клетка могла бы управляться с несколькими входящими сигналами на отдельных дендритах. Найденное удивило их: дендриты генерировали локальные пики, у них были свои нелинейные кривые входа/выхода, и свои собственные пороги активации, отличавшиеся от нейрона в целом. Сами дендриты могли работать в качестве вентилей «И», или размещать на себе другие вычислительные устройства.
Мел вместе с бывшей аспиранткой Йотой Пойраци (ныне работающей вычислительным нейробиологом в Институте молекулярной биологии и биотехнологии в Греции), поняли, что это означает, что единственный нейрон можно считать двухслойной сетью. Дендриты служат вспомогательными нелинейными вычислительными модулями, собирающими входные данные и выдающие промежуточные выходные данные. Затем эти сигналы комбинируются в теле клетки, определяющей, как отреагирует на это нейрон в целом.
Йота Пойраци, вычислительный нейробиолог из Института молекулярной биологии и биотехнологии в Греции
Влияла ли активность на уровне дендритов на активацию нейрона и активность соседних нейронов, было непонятно. Но в любом случае такая местная обработка может подготовить или настроить систему так, чтобы она реагировала на будущие входящие сигналы по-другому, как говорит Шеперд.
Как бы там ни было, «тренд был такой: ладно, будем осторожными, нейрон может оказаться более способным, мы думали», — сказал Мел.
Шеперд соглашается. «Значительный объём вычислений, происходящих в коре, находится на уровне, не доходящем до порогового, — сказал он. — Система из одного нейрона может быть чем-то большим, чем просто единственными интегратором. Там могут быть два слоя, или даже больше». В теории, почти все вычислительные операции может совершить один нейрон с достаточным количеством дендритов, каждый из которых способен на выполнение своей нелинейной операции.
В недавней работе в журнале Science исследователи продвинули эту идею ещё дальше. Они предположили, что единственное отделение дендрита может выполнять эти сложные операции самостоятельно.
Неожиданные всплески и старые препятствия
Мэтью Ларкум, нейробиолог из Гумбольдта, и его команда, начали изучать дендриты с разных позиций. Активность дендритов в основном изучали на примере грызунов, и исследователям было интересно, чем распространение сигналов может отличаться у человеческих нейронов, дендриты которых гораздо длиннее. Они получили в распоряжение срезы мозговой ткани 2-го и 3-го слоя коры, где содержатся особенно крупные нейроны с большим количеством дендритов. И когда они начали стимулировать эти дендриты при помощи электрического тока, они заметили нечто странное.
Они увидели неожиданные и повторяющиеся всплески — которые абсолютно не были похожи на другие известные нейронные сигналы. Они были особенно быстрыми и короткими, как потенциалы действия, и возникали из-за ионов кальция. Это было интересно, поскольку обычные потенциалы действия порождаются ионами натрия и калия. И хотя сигналы, порождаемые кальцием, уже наблюдались в дендритах грызунов, эти всплески держались гораздо дольше.
Что ещё более странно, увеличение интенсивности электрической стимуляции снижало интенсивность срабатывания нейронов. «Внезапно мы, стимулируя больше, стали получать меньше, — сказал Гидон. — Это привлекло наше внимание».
Чтобы понять, что могут делать эти новые виды всплесков, учёные объединились с Пойраци и исследователем из её греческой лаборатории, Атанасией Папутци, чтобы вместе создать модель, отражающую поведение нейронов.
Модель показала, что дендриты выдают всплески в ответ на два входных сигнала по отдельности, но не выдают, если скомбинировать эти сигналы. Это эквивалент нелинейного вычисления, известного, как «исключающее ИЛИ», или XOR, дающего 1 только если один, и только один из входов равен 1.
Это открытие сразу нашло отклик среди специалистов по информатике. Много лет считалось, что один нейрон не способен подсчитывать функцию XOR. В книге 1969 года «Перцептроны» специалисты по информатике Марвин Минский и Сеймур Паперт предоставили доказательство того, что однослойные искусственные нейросети не могут вычислять XOR. Это заключение стало таким ударом, что многие специалисты по информатике объясняли этим фактом тот застой, в котором нейросети находились до 1980-х.
Исследователи нейросетей в итоге нашли способы преодолеть препятствие, найденное Минским и Папертом, а нейробиологи обнаружили примеры этих решений в природе. К примеру, Пойраци уже знала, что отдельный нейрон может вычислить XOR: на это способны всего два дендрита. Но в новых экспериментах они с коллегами предложили правдоподобный биофизический механизм проведения такого вычисления и в единственном дендрите.
«Для меня это ещё одна степень гибкости системы, — сказала Пойраци. — Она показывает, что у системы есть много способов проводить вычисления». Тем не менее, она указывает, что если единственный нейрон уже способен решить эту задачу, «зачем тогда системе идти на ухищрения, создавая более сложные модули внутри нейрона?»
Процессоры внутри процессоров
Конечно, не все нейроны такие. Гидон говорит, что в других частях мозга существует довольно много менее крупных, точечных нейронов. Вероятно, такая сложность нейронов существует не просто так. Так зачем отдельным частям нейронов нужна возможность делать то, на что способен нейрон, или небольшая сеть нейронов? Очевидный вариант — нейрон, ведущий себя, как многослойная сеть, может обрабатывать больше информации, и, соответственно, лучше обучаться и больше хранить. «Возможно, у нас в отдельном нейроне есть целая глубокая сеть, — сказала Пойраци. — И это гораздо более мощный аппарат для обучения сложным задачам».
Возможно, добавляет Кординг, «единственный нейрон способен вычислять по-настоящему сложные функции. Например, он мог бы самостоятельно распознавать объект». Наличие таких мощных отдельных нейронов, возможно, помогает мозгу экономить энергию, по мнению Пойраци.
Группа Ларкума планирует искать сходные сигналы в дендритах грызунов и других животных, чтобы определить, уникальны ли эти вычислительные способности для людей. Они также хотят выйти за пределы модели, чтобы связать наблюдаемую активность нейронов с реальным поведением. Пойраци же надеется сравнить вычисления дендритов с тем, что происходит в сетях нейронов, чтобы разобраться с тем, какие преимущества могут возникать в первом случае. Сюда будет входить проверка других логических операций и изучение того, какой вклад они могут делать в обучение или запоминание. «Пока мы всё это не разметим, мы не можем оценить важность открытия», — сказала Пойраци.
Хотя предстоит ещё много работы, исследователи считают, что эти открытия демонстрируют необходимость пересмотреть подход к моделированию мозга. Возможно, уже недостаточно концентрироваться только на связанности различных нейронов и регионов мозга.
Новые результаты также должны поставить новые вопросы в областях машинного обучения и искусственного интеллекта. Искусственные нейросети работают с точечными нейронами, считая их узлами, суммирующими вход и передающими сумму через функцию активации. «Очень мало людей серьёзно отнеслось к идее того, что единственный нейрон может быть сложным вычислительным устройством», — сказал Гэри Маркус, когнитивист из Нью-Йоркского университета, активно высказывающий скептицизм по поводу некоторых заявлений, касающихся глубокого обучения.
Хотя работа из журнала Science — всего лишь одно открытие в богатой истории работ, демонстрирующих эту идею, специалисты по информатике, возможно, отреагируют на неё более активно, поскольку она работает с проблемой XOR, так давно терзавшей исследования в области нейросетей. «Она как бы говорит, что нам нужно серьёзно задуматься об этом, — сказал Маркус. — Вся эта игра — получить умные рассуждения из глупых нейронов — может оказаться неправильной».
«И это очень чётко демонстрирует такую точку зрения, — добавил он. — Это выступление заглушит весь фоновый шум».
