Мыслеобразы из головы человека смогли превратить в видео
Исследователи из Национального университета Сингапура и Китайского университета Гонконга представили нейросеть MinD-Video, способную на основе данных функциональной магнитно-резонансной томографии (фМРТ) воссоздавать мысли человека. Разработка откроет новые возможности для исследования механизмов зрения, памяти и воображения.
В эксперименте участники смотрели видеоролики, а учёные тем временем использовали данные фМРТ и генеративную нейросеть Stable Difussion для преобразования текста в изображение модели под названием MinD-Video, которая генерирует видео из мозга. Затем эти сигналы отправлялись нейронной сети, которая обучалась воспроизводить видео на основе данных мозговой активности.
Результаты оказались впечатляющими: нейронная сеть смогла не только восстановить общие контуры и цвета объектов на видео, но и детализировать их текстуру, движение и освещение. Восстановленные видео оценивались с помощью различных семантических и пиксельных метрик, и средняя точность достигала 85% в задачах семантической классификации и 0,19 в индексе структурного подобия (SSIM), превзойдя предыдущий уровень техники на 45%.
Подобная технология фундаментально меняет отношение к человеческому воображению, делая его чем-то материальным и открытым для цифрового кодирования.
Источник: marktechpost.com
© 4PDA
