[Перевод] Новый кризис воспроизводимости в науке: чем сомнительней результаты, тем чаще их цитируют
Открытия, сделанные в исследованиях, которые невозможно подтвердить в повторных экспериментах, цитируются в 153 раза чаще из-за интересности исследований.
Согласно новому исследованию Калифорнийского университета в Сан-Диего и Школы менеджмента Рэди, статьи в ведущих психологических, экономических и естественнонаучных журналах, которые невозможно воспроизвести, часто оказываются самыми цитируемыми статьями в научных исследованиях. Невозможность их воспроизведения обычно означает меньшую вероятность их истинности.
Опубликованная в Science Advances статья исследует современный «кризис воспроизводимости», суть которого заключается в следующем: многие открытия в областях социальных наук и медицины не подтверждаются, когда эксперименты пробуют повторить другие исследователи.
В статье говорится, что открытия, сделанные в исследованиях, которые невозможно подтвердить при повторных экспериментах, имеют большее влияние в долговременной перспективе. Как правило, сомнительные исследования цитируются, как будто их результаты истинны, ещё долгое время спустя после обнаружения невозможности воспроизведения результатов публикации.
«Также мы знаем, что специалисты могут хорошо прогнозировать, какие из статей окажутся воспроизводимыми», — пишут преподаватель экономики и стратегии Марта Серра-Гарсиа и профессор поведенческой экономики Ури Гнизи из Школы Рэди. «Зная о подобных прогнозах, мы задаёмся вопросом: «почему вообще эти невоспроизводимые статьи принимаются для публикации?»
Вероятно, ответ заключается в том, что коллективы рецензентов научных журналов вынуждены идти на компромисс. Когда результаты «интереснее», они менее строги к возможности их воспроизводимости.
Связь между интересностью открытий и невоспроизводимостью исследования также может объяснить, почему их намного чаще цитируют — авторы выяснили, что успешно воспроизводимые статьи цитируются в 153 раза реже, чем невоспроизводимые.
«Интересные или привлекательные статьи также больше обсуждаются в медиа и публикуются на платформах типа Twitter, вызывая немало внимания, но это не делает их истинными», — говорит Гнизи.
Серра-Гарсиа и Гнизи проанализировали данные, полученные тремя известными проектами, занимающихся систематическими проверками воспроизводимости открытий из самых лучших психологических, экономических и естественнонаучных журналов (Nature и Science). В области психологии удалось успешно воспроизвести только 39% из 100 экспериментов. В экономике получилось воспроизвести 61% из 18 исследований, а из 21 исследования, опубликованного в Nature/Science, удалось воспроизвести 62%.
Имея на руках данные этих трёх проектов по воспроизводимости, авторы воспользовались Google Scholar, чтобы проверить, цитируются ли чаще невоспроизводимые исследования. Они выполняли изучение и до, и после публикации результатов проектов по проверке воспроизводимости. Самый большой разрыв был выявлен для статей, опубликованных в Nature/Science: статьи с невоспроизводимыми результатами цитировались в 300 раз чаще, чем с воспроизводимыми.
Затем авторы решили принять в расчёт различные характеристики воспроизводимых исследований, например, количество авторов, долю авторов-мужчин, подробности эксперимента (местоположение, язык и реализация онлайн), а также сферу, в которой были опубликованы статьи — связь между воспроизводимостью и цитируемостью осталась такой же.
Также они продемонстрировали, как влияние такого цитирования со временем растёт. Подсчёт упоминаний за год демонстрирует явный разрыв между воспроизводимыми и невоспроизводимыми статьями. В среднем, статьи, которые не удаётся воспроизвести, за год цитируются в 16 раз чаще. Этот разрыв сохранился даже после публикации данных проекта проверки воспроизводимости.
«Примечательно, что всего в 12% упоминаний в статьях, опубликованных после проверки воспроизводимости, говорится о неудачных попытках воспроизведения», — пишут авторы.
Влияние неточной статьи, опубликованной в престижном журнале, может сохранятся десятки лет. Например, исследование, опубликованное Эндрю Уэйкфилдом в «The Lancet» в 1998 году, заставило десятки тысяч родителей по всему миру ополчиться против вакцин от кори, свинки и краснухи, так как в статье указывалось на возможную связь между вакцинированием и аутизмом. Статья была отозвана «The Lancet» 12 лет спустя, однако заявления о связи аутизма и прививок всё равно продолжают публиковать.
Авторы добавляют, что журналы и учёные могут ощущать давление, заставляющее их публиковать интересные открытия. Например, при принятии решения о повышении сотрудников большинство научных учреждений используют как важную метрику цитирование.
Это тоже может быть источником «кризиса воспроизводимости», выявленного в начале 2010-х.
«Мы надеемся, что наше исследование мотивирует читателей быть аккуратными, когда они прочитают нечто интересное и привлекательное», — говорит Серра-Гарсиа. «Нам хотелось бы, чтобы когда исследователи цитируют интересную или часто упоминаемую работу, они проверяли наличие данных о воспроизводимости и думали о том, какие выводы можно сделать их полученных результатов».
Гнизи добавляет: «Мы заботимся о проведении качественных исследований, и хотим, чтобы они были истинными».
На правах рекламы
Эпичные серверы — это надёжные VPS с мощными процессорами семейства AMD EPYC и быстрым дисковым хранилищем на основе NVMe дисков Intel. Каждый может создать тариф под себя!
Присоединяйтесь к нашему чату в Telegram.
