Некачественные исследования получают все больше и больше денег
Виктор Петрик демонстрирует свой нанофильтр (Источник: rusphysics.ru)
В 1963 году Джейкоб Кэн, психолог из Нью-Йоркского университета, проанализировал около 70 статей, опубликованных в издании Journal of Abnormal and Social Psychology и обнаружил интересный факт. Лишь малое число ученых признавали неудачи своих исследований в работах. Для этих материалов он выполнил подсчет их «статистической мощности». Термин «статистическая мощность» означает вероятность отвержения нулевой гипотезы, если она фактически неверна.
По статистике, подтверждение ожидаемого исследователем результата проявляется в ходе всего лишь 20% выполняемых экспериментов. Как оказалось, практически во всех изученных Коэном работах авторы указывали положительный ожидаемый результат исследований. Получается, что авторы просто не докладывают о неудачах. Более того, некоторые авторы искажают результаты своих исследований, указывая положительный эффект даже в том случае, когда его нет.
Величина мощности при проверке статистической гипотезы зависит от следующих факторов:
- величины уровня значимости, обозначаемого греческой буквой α (альфа), на основании которого принимается решение об отвержении или принятии альтернативной гипотезы;
- величины эффекта (то есть разности между сравниваемыми средними);
- размера выборки, необходимой для подтверждения статистической гипотезы.
Со времени публикации работы Джейкоба Коэна прошло уже более полувека, но авторы научных исследований все так же рассказывают о своих успехах, скрывая поражения. Это доказывают результаты еще одной работы, опубликованной недавно в Royal Society Open Science. Авторы этой работы — Пол Смальдино из Калифорнийского университета и Ричард Мак Элрес из Института эволюционной антропологии Общества Макса Планка. По словам исследователей, современные статьи не стали качественнее. По крайней мере, статьи, которые относятся к психологии, неврологии и медицинской науке.
Изучив несколько десятков статей, опубликованных в период времени с 1960 по 2011 год, ученые определили, что средний показатель статистической мощности в этом случае равен 24%. Это лишь немногим выше того параметра, который был просчитан Коэном. И это несмотря на то, что за последние годы методы научного исследования стали точнее, а для исследователей публикуется все больше книг и статей с описанием принципов и методов научной работы.
Усредненная статистическая мощность публикаций, размещенных в научных журналах с 1960 по 2011 года
Получив такой результат, ученые задумались над тем, что может изменить текущее положение вещей, чтобы авторы научных работ стали добросовестнее. Для этого Мак Элрес и Смальдино создали компьютерную эволюционную модель. В рамках этой модели около 100 виртуальных лабораторий соревновались за право получения вознаграждения. Оно выплачивалось в том случае, если в рамках исследования команда лаборатории получала действительно значимый результат. Для определения размера вознаграждения ученые использовали такой показатель, как объем публикаций.
Как выяснилось, некоторые лаборатории работали более эффективно, чем другие, показывая больше результатов. В то же время, эти лаборатории часто выдавали ожидаемое за действительное. В этом случае результаты выверялись хуже, и результаты интерпретировались, как положительные. Если результаты работы выверялись тщательнее, то публиковалось меньше работ.
В каждом цикле симуляции все моделируемые лаборатории выполняли эксперименты и публиковали результаты. После этого ученые убирали наиболее старую лабораторию из ряда случайно выбранных. А лаборатории из еще одного случайного списка (критерий выборки — максимальное количество полученных вознаграждений) позволяли создать собственное подразделение, которое занималось активной работой по публикации научных материалов. Предварительные результаты анализа компьютерной модели продемонстрировали: публиковавшие больше всех работ лаборатории уделяли лишь малую толику времени проверке результатов и становились наиболее авторитетными, распространяя свои методы исследований в научном сообществе.
Но было еще кое-что. Как оказалось, повторение результатов работы какой-то одной лаборатории коллективом другой приводит к улучшению репутации первой лаборатории. А вот неудача в повторении результатов какого-либо эксперимента приводит к проблемам и понижению репутации лаборатории, которая провела такой эксперимент первой. В этом случае срабатывает фильтр, который не допускает появления в научном сообществе фальшивых исследований с модифицированными результатами исследований.
Чем сильнее было наказание для тех, кто опубликовал непроверенные результаты, тем мощнее оказывался фильтр некачественных исследований. При максимальном наказании в 100 баллов лабораторий с фальшивыми данными резко вырастало количество публикаций с реальными результатами. Кроме того, вырастало и количество повторных экспериментов, которые проводили другие лаборатории с намерением повторить полученные кем-то результаты.
Напомню, что все, сказанное выше — смоделированная на ПК ситуация. Авторы исследования делают следующий вывод: как и раньше, сейчас научные организации, которые публикуют больше работ, чем другие, считаются наиболее авторитетными. К сожалению, фильтр некачественных публикаций, который сработал в виртуальном мире, не слишком хорошо работает в мире реальном. Дело в том, что НИИ и отдельные исследователи не слишком часто проверяют результаты друг друга. Если бы такие проверки с намерением повторить результат, полученный партнером, осуществлялись чаще, то и «фальшивых результатов» в мире науки стало бы значительно меньше.
Авторы исследования считают, что компьютерная модель показала возможность изменения текущего положения вещей. Если бы фонды и научные организации не давали деньги тем ученым и лабораториям, кто публиковал непроверенные результаты своих исследований, выдавая их за положительный результат, то обманщиков быстро бы стало меньше. Но реализовать такую модель в реальном мире довольно сложно. «Легче сказать, чем сделать», — говорит Смальдино.
Так что пока в плюсе оказываются те организации, кто публикует много статей. А вот организации, которые тщательно выверяют свои результаты, публикуются реже.
DOI: 10.1098/rsos.160384
