ИИ и человеческий мозг совместили для генерации качественных изображений
Японские учёные из Высшей школы передовых биологических наук Университета Осаки обнаружили, что генерировать изображения можно с помощью мыслей. Для этого они использовали нейросеть Stable Diffusion, «подкормив» её расшифровками снимков мозга, сделанных с помощью функциональной магнитно-резонансной томографии (фМРТ).
Сначала исследователи предсказали по сигналам фМРТ скрытое представление, которое является моделью данных изображения. Затем модель была обработана, в неё был добавлен шум посредством процесса диффузии. Наконец, учёные декодировали текстовые представления из сигналов фМРТ в верхней зрительной коре и использовали их в качестве входных данных для создания окончательного изображения. Картинки получились с высоким разрешением, чего раньше можно было добиться только после обучения и тонкой настройки генеративных моделей.
Результат воссоздания человеческой мысли, как отмечают учёные, был всегда стабильным и относительно точным в сравнении с искомым изображением. Даже в тех случаях, когда один и тот же снимок фМРТ декодировали много раз.
«Эти результаты показывают, что в начале процесса обратной диффузии информация об изображении сжимается в слое узкого места, а по мере устранения шума в зрительной коре возникает функциональная диссоциация между слоями U-Net: первый слой представляет мелкие детали в ранних зрительных областях, в то время как слой узкого места соответствует информации более высокого порядка в семантических областях», — написали исследователи.
Источник: vice.com
© 4PDA
