Авторы исследования «Спутника V» ответили на вопросы пользователей «Хабра»
Пару дней назад редакция «Хабра» опубликовала новость об исследовании российской векторной вакцины «Спутник V», проведённом учёными из нескольких вузов Санкт-Петербурга. Материал вызвал бурную и справедливую реакцию со стороны читателей, обнаруживших несостыковки в графиках и некоторых данных. Учёные, непосредственно проводившие исследование, согласились ответить на вопросы из комментариев к новости. Кроме того, авторы скорректировали график, больше всего беспокоивший комментаторов.
Как указывают сами исследователи, из-за технических причин выход препринта задержался, поэтому долгое время у многих не было доступа к оригинальному манускрипту. По этой причине новость редакции была основана на описании исследования от BBC, на которое ссылались и другие СМИ. На тот момент это был самый информативный источник.
Теперь препринт находится в открытом доступе. Учёные указывают, что «его можно и нужно обсуждать и критиковать». Это препринт, и в нём ещё могут быть недочеты. Исследователи сами уже обнаружили несколько.
Для уточнения информации по препринту редакция «Хабра» обратилась к научному коммуникатору Института междисциплинарных медицинских исследований (ИММИ) Александре Васильевой. Александра быстро ответила на запрос редакции и передала вопросы от пользователей напрямую к учёным, проводившим исследование: кандидат медицинских наук Антон Барчук, исследователь-ассистент Анна Булина, и Дмитрий Скугаревский, получивший степень Ph.D. по международной экономике в Женевском институте международных отношений.
Вопросы были собраны из комментариев к новости или личных сообщений от пользователей в адрес редактора материала. Ответы учёных переданы в том виде, в котором они их прислали редакции.
В исследовании указано, что пациенты передавали вам информацию о датах вакцинации и количестве сделанных прививок, но не о типах вакцин. Почему учёные не собирали эти данные?
Эти данные собирались в ходе работы сортировочных центров, выполняющих КТ. В первую очередь эти учреждения фиксируют информацию, которая нужна для внутренних процессов, а не для конкретных исследований. Так как поток пациентов на фоне третьей волны очень большой, у коллег из центров КТ нет времени задавать вопросы, им нужно быстро провести процедуру и дать направление на госпитализацию, если она нужна. Мы бы хотели, чтобы нам дали еще информацию о росте и весе пациентов, наборе сопутствующих заболеваний и многом другом. Отсутствие информации о типе вакцины — это, без сомнения, минус, но коллеги в начале исследования не внесли этот вопрос в свою систему, его не задавали пациентам, а задним числом это сделать уже было сложно. Однако две другие вакцины распространены в Петербурге на уровне погрешности: даже если некоторое количество человек было привито не «Спутником V», это сильно не отразилось на результатах. Любые исследования из реальной практики содержат ошибки и недочеты, важно понимать, как они влияют на результат.
У наших читателей появились вопросы к графику с 95% доверительным интервалом. По нему провести линию можно и в верхних значениях, что приведет к прямо противоположным результатам, например, что вероятность лечь в больницу с прививкой — 15%, а без прививки — 5%. Как вы сами интерпретируете этот график?
Во-первых, как справедливо заметили в другом комментарии к новости, график не основной результат исследования, это только примерная иллюстрация. Ширина доверительного интервала зависит в том числе от количества наблюдений. Больше наблюдений — больше уверенности в точечной оценке (то есть линии). У нас в выборке относительно мало госпитализированных, а если делить их на отдельные возрастные группы, то случайная ошибка, которую отражает доверительный интервал, становится еще больше. Но никто не сравнивает только верхние и нижние значения доверительных интервалов двух оценок, сравнивают сами оценки, а также то, пересекаются ли доверительные интервалы. Если они пересекаются, значит, значимых отличий нет, потому что выборка слишком мала. В таких случаях говорят, что у анализа не хватает «сил», исследование не обладает достаточной статистической мощностью.
Во-вторых, обсуждение на вашей площадке и в других соцсетях заставили нас еще раз посмотреть на анализ. И мы нашли в нем недочеты. График — это результат модели, которая описывает вероятности госпитализации в зависимости от возраста. Наш код — это аддитивная модель, которая позволяет находить и строить на графиках довольно сложные зависимости переменных друг от друга. Наша модель была создана верно, но при построении графиков мы учли только форму зависимости риска госпитализации от возраста, но не учли эффект вакцинации вне зависимости от возраста. Мы перерисовали наш график и наложили две кривые друг на друга. С точки зрения выводов он не сильно отличается от предыдущего, так как доверительные интервалы все равно пересекаются. Но теперь он отражает реальные вероятности для каждой подгруппы. Наш анализ и код находятся в открытом доступе.
В общей сложности в исследовании приняли участие около 14 тысяч человек. Из них менее 10% полностью вакцинированных, при этом по официальной статистике в Санкт-Петербурге привито более 26% населения. Почему так мало вакцинированных пациентов попало в выборку?
В нашей выборке только заболевшие. Такая разница в долях среди всего населения и среди заболевших выглядит логично для работающей вакцины: привитые меньше заболевают и меньше попадают в нашу выборку. Более того, если мы прикинем грубую защиту от симптоматической болезни, то она будет около 50%, что вполне соответствует другим вакцинам в условиях волны, вызванной Дельта-вариантом. Но делать такие выводы из нашего исследования нельзя, нужны дополнительные данные. Это пока только оценка.
Сбор данных о пациентах проводился с 3 июля по 9 августа этого года. Почему взят именно этот интервал? Исследователи по какой-либо причине торопились и не могли собрать больше данных или существует другая причина?
Мы запланировали исследование в конце июня, получили одобрение этического комитета и начали сбор данных. Выборка планируется, чтобы с определенной точностью опровергнуть или доказать гипотезу исследования. Согласно рекомендациям ВОЗ, нам нужно было собрать данные о более чем 470 госпитализациях — тогда у исследования будет достаточная «мощность» (power), чтобы ответить на заданный вопрос. Данные получилось собрать до 9 августа. Более длительный сбор информации лишь уменьшил бы случайную ошибку, может быть, помог бы ответить на вторичные вопросы, но для ответа на ключевой вопрос было достаточно той выборки, которую мы получили к 9 августа. В современной медицине данные должны быть не большими, а качественными, собранными под конкретный научный вопрос. Большие данные в популяционных исследованиях часто бывают «мусорными» — у них довольно узкие возможности для применения в медицине, если они не собираются в рамках формализованных исследований.
Вы планируете проводить дополнительные исследования с большей выборкой? Если да, то в каких городах?
Да, возможно. Мы проведем еще один анализ по данным МИБС, но, как следует из ответа выше, это не главный приоритет. Мы хотели бы получить данные о защите от инфекции, защите от смерти, а также нам интересно, как факт перенесенной болезни защищает от повторной тяжелой болезни.
У вас есть планы по независимой оценке зарубежных вакцин?
Боимся, что нет. Невозможно оценить эффективность в реальной практике того, что не используется в реальной практике.
