Глубинное обучение. Новая роль дофамина
В материалах часто пишу о том, что дофамин — это нейрогормон предвкушения и мотивации. Однако, это также элемент глубокой и сложной структуры самообучения. Которая стала известна буквально в новом исследовании.
Вообще дофамин — основной элемент триады дофамин, норадреналин, ацетилхолин. Эти три элемента помогают войти в то самое состояние потока, на котором держится ультимативная работоспособность.
Карта к дофамину
Это впервые в истории, когда ученые создали карту путей регуляции дофамина. При этом сама карта создавалась режиме реального времени, и основывалась на процессах, протекающих глубоко внутри мозга трех человек. Как результат ученые поняли, что дофамин играет важную роль не только в распознавании вознаграждений, но и в обучении на ошибках. Что способно помочь ученым улучшить кремниевый мозг.
Почему дофамин так интересен?
Исследователи из Медицинской школы Университета Уэйк Форест, далее WFUSM, собрали информацию о механизмах принятия решений. Принципы и понимание работы таких механизмов поможет лучше понять природу психических заболеваний.
Ранее исследования показали, что дофамин играет важную роль в том, как животные учатся на принципе «поощрений» и «наказаний». Но ранее мы не разбирали принципы дофаминовой активности в рамках кратких сроков, когда колебание нейрогормона занимает доли секунды.
Это первое исследование на людях, в ходе которого изучается, как дофамин кодирует принципы вознаграждений и наказаний. Также мы разобрались с тем, может ли механизм синтеза дофамина быть оптимальным обучающим сигналом в области искусственного интеллекта.
Доктор Кеннет Т. Кишида, доцент кафедры физиологии, фармакологии и нейрохирургии в WFUSM
Принципы глубинного исследования дофамина
Ученые использовали циклическую вольтамперометрию, быстрое сканирование и машинное обучение для измерения уровня дофамина в реальном времени. Поскольку это можно сделать только во время инвазивной хирургии, то в исследовании смогли принять участие три пациента. Им изначально была назначена глубокая стимуляция мозга при эссенциальном треморе. Подобные исследования — одна из областей, способствующих более тесно подружить органические и синтетические системы интеллекта.
Микроэлектрод из углеродного волокна был вставлен глубоко в мозг участников для мониторинга уровня дофамина в полосатом теле — области мозга, участвующей в принятии решений, формировании привычек и реакции вознаграждения.
Затем участники проходили игру, состоящую из трех уровней. Уровни были спроектированы так, чтобы игроки могли полагаться только на собственный опыт, извлекая уроки из ранее пройденных заданий. И в процессе игроки учились делать выбор, который максимизирует вознаграждение, помогая поднять уровень дофамина, и минимизирует наказания.
Игроки награждались реальными денежными призами за принятие правильных решений и теряли деньги в качестве штрафа за неверный выбор. Уровень дофамина измерялся каждые 100 миллисекунд у каждого игрока на всех этапах игры.
Первые выводы про дофамин
Главное в исследовании: механизм синтеза и работы дофамина оказался в разы многограннее и сложнее, чем считалось учеными ранее. Колебания уровней дофамина имеют огромное значение в регулировании и переосмыслении получаемого опыта.
Мнение авторов исследования о дофамине
Мы обнаружили, что дофамин не только играет роль в передаче сигналов как о положительном, так и об отрицательном опыте, но, по-видимому, делает это максимально эффективным образом для извлечения опыта.
Также, в мозге могут быть независимые пути, которые отдельно задействуют дофаминовую систему для вознаграждений и наказаний. Наши результаты показывают удивительный результат: эти два пути могут кодировать опыт вознаграждения и наказания с разницей в 200–400 миллисекунд.
Исследование показывает, что дофамин — ключевой фактор того, как мы учимся на своем опыте. И не важно, хороший это опыт, или плохой. Суть в том, что дофамин помогает мозгу адаптировать поведение, чтобы делать выбор, связанный с положительными результатами.
Этот раздел написан со слов доктора Кеннета Т. Кишиды, доцента кафедры физиологии, фармакологии и нейрохирургии в WFUSM
Вместо вывода
Традиционно дофамин часто называют нейрогормоном удовольствий. Но это не так. Дофамин — это скорее элемент сложной системы, которая обучает наш мозг и направляет поведение. Тот факт, что дофамин также участвует в обучении нашего мозга через наказания — важное открытие. Оно может указывать на новые механизмы, лежащие в основе депрессии, зависимости и связанных с ними психиатрических и неврологических расстройств.
