Китайские ученые научили нейросеть понимать, что видит человек по сканам активности мозга
Так выглядит аппарат фМРТ сканирования
Чтение мыслей — давнишняя мечта многих людей. Эта мечта отображена в огромном количестве научно-фантастических произведений, в фильмах и сказках. Но на самом деле чтение мыслей — сложная задача, для решения которой нужны современные технологии. И не только аппаратная часть, то есть «железо», но и программные платформы, а именно — нейросети.
Относительно недавно группа ученых научила нейросети определять, что видит человек по анализу фМРТ (Функциональная магнитно-резонансная томография) снимков. Это сложнейшая проблема, но, похоже, ученые из Китая ее успешно решили.
Сложная она потому, что необходимо по фМРТ снимкам, на которых много шумов, научиться определять, какие участки головного мозга работают и понимать, что за этим стоит. Сами изображения при использовании соответствующей аппаратуры сканирования трехмерные. И эту трехмерную картину активности определенных участков головного мозга нужно перевести в двухмерные изображения — те, что видел человек перед или во время сканирования.
Для получения фМРТ изображения обычно нужно учитывать тот факт, что активность одного вокселя (активного объема) мозга вызывается активностью других вокселей. Как результат — компьютеру для отображения относительно четкого изображения нужно игнорировать ряд активных вокселей. Все это усложняет задачу реконструкции того, что видит человек. В целом, эта проблема решена, медики научились «отделять зерна от плевел», да, но описанный выше процесс снижает качество распознавания изображения, видимого добровольцем, чей мозг сканируют.
На сегодняшний день функциональная магнитно-резонансная томография — один из самых активно развивающихся видов нейровизуализации. С начала 1990-х годов функциональная МРТ стала набирать популярность в такой области, как визуализации процессов головного мозга из-за своей сравнительно низкой инвазивности, отсутствия воздействия радиации и относительно широкой доступности. Сам метод основывается на том, что мозговой кровоток и активность нейронов связаны между собой. Когда какая-либо область мозга активна, приток крови к этой области также увеличивается
Ученые из Китая, которые работали в этом проекте, приняли решение найти новые способы анализа данных с фМРТ изображений. Специалисты из Пекинского исследовательского центра стали использовать еще и нейросети, которые стали последовательно обучать определять зависимость между тем, что видит человек и активностью его мозга, зафиксированной при помощи фМРТ.
Изначально добровольцев просили смотреть на простой объект, в ходе чего проводилось фМРТ сканирование мозга. Под простым объектом имеется в виду изображение цифры или буквы на рисунке. В результате ученые получали набор данных в виде скана мозга и изначального изображения. Постепенно задачу усложняли, нейросеть обучалась на самых разных изображениях. Всего в базу обучения вошло около 1800 оригинальных изображений и снимков активности головного мозга. Больше всего времени ученые потратили именно на обучение нейросети, а не на что-либо иное.
Результаты, показанные при использовании новой методики китайских специалистов и различных других методов, созданных другими командами ученых в разное время
Далее нейросеть постепенно училась восстанавливать исходное изображение, которое ей не показывали, по данным скана мозга человека. Для улучшения результатов нейросеть обучили различать шумы и полезные данные на снимках. В результате восстанавливаемые компьютером изображения, которые видел человек, стали более четкими и точными. Плюс ко всему, ученые давали нейросети сравнить исходное изображение, которое видел человек, и изображение, которое воспроизвел компьютер.
Результаты получились очень интересными. Нейросеть научилась воспроизводить изначальное изображение с высокой степенью точности. Во многих случаях эти изображения получались более четкими, чем в случае использования любых других техник, созданных ранее.
«Масштабные экспериментальные сравнения изображений показывают нам, что мы действительно можем восстанавливать образы, видимые человеком, с фМРТ снимков, и делать это более точно, чем раньше», — говорит руководитель проекта Чангде Дю (Changde Du).
По мнению специалистов, эта технология позволяет приблизиться к моменту создания нейроинтерфейсов для работы с машинами без промежуточных этапов. Возможно, в не столь уж отдаленном будущем человек сможет подключать к компьютерным сетям свою нервную систему, передавая данные и воспринимая зрительные образы. Это станет возможным не завтра, но, возможно, быстрее, чем считается.
arXiv:1704.07575
