ИИ начал заваливать научные журналы правдоподобными фальшивыми статьями
Научные журналы столкнулись с резким ростом числа статей, созданных при помощи генеративного ИИ. Если раньше подобные работы было легко вычислить по абсурдным ошибкам, странным формулировкам или фиктивным цитатам, то новые инструменты уже умеют выпускать вполне убедительные исследования, которые всё труднее отличить от настоящих. Редакторы и рецензенты предупреждают, что система peer review (рецензирования) начинает захлёбываться от потока таких публикаций.
С этой проблемой столкнулся Питер Деген из Цюрихского университета, когда обнаружил, что его старая статья по статистическому анализу медицинских данных внезапно начала получать сотни новых цитирований. Проверка показала, что её массово используют в однотипных работах, где автоматически генерируются «новые» исследования на основе открытых баз данных вроде Global Burden of Disease (крупнейшее рецензируемое научное исследование, оценивающее масштабы ухудшения или потери здоровья от сотен заболеваний, травм и факторов риска).
Обычно такие статьи перебирают тысячи статистических корреляций — например, между продуктами питания и болезнями — пока не находят формально значимую связь, которую можно оформить как научную публикацию.
Иллюстрация: Nano BananaПо словам редактора Scientific Reports Мэтта Спика, ещё недавно подобные тексты выдавали грубые ошибки и бессмысленные фразы вроде «reinforcement getting to know» вместо «reinforcement learning». Но современные ИИ-системы становятся значительно аккуратнее. Новые «агентные» инструменты уже способны самостоятельно анализировать данные, предлагать гипотезы и писать полноценные статьи с графиками и корректными ссылками.
Исследователи из ведущего частного исследовательского университета США, Университета Карнеги-Меллона, обнаружили, что такие системы иногда выдумывают данные или используют сомнительные методы анализа, однако итоговые публикации всё равно выглядят профессионально.
Особенно настораживает редакторов то, что поток материалов растёт быстрее, чем научное сообщество успевает их проверять. Рецензирование в академических журналах в основном держится на неоплачиваемом труде учёных, а число публикаций растёт уже много лет. Теперь ИИ дополнительно ускорил производство статей — как добросовестных, так и откровенно бесполезных. Некоторые редакторы рассказывают, что им приходится отправлять по 20 приглашений, чтобы найти хотя бы двух рецензентов, готовых проверить работу.
Проблему усиливает сама система академических стимулов. Университеты, грантовые фонды и научные журналы по-прежнему оценивают исследователей по количеству публикаций и цитирований, а многие издательства напрямую зарабатывают на потоке статей через публикационные сборы. Исследование в Nature показало, что учёные, активно использующие ИИ, публикуют в среднем втрое больше работ и получают значительно больше цитирований. Всё это, по мнению исследователей, превращает генеративный ИИ в инструмент массового производства научных публикаций — и ставит под вопрос способность современной академической системы отделять действительно важные результаты от статистического и информационного шума.
© iXBT
