Больничный алгоритм, разработанный для прогнозирования смертельно опасных состояний, упускает большинство случаев
Новое исследование показало также, что у него было много и ложных срабатываний
Крупнейшая в США компания, занимающаяся электронными медицинскими картами, Epic Systems, утверждает, что может решить важную для больниц проблему: выявление признаков сепсиса, зачастую смертельного осложнения от инфекций, которые могут приводить к отказу внутренних органов. Это превалирующая причина смерти в больницах.
Однако, согласно новому исследованию, опубликованному в JAMA Internal Medicine в понедельник, алгоритм не работает так, как заявлено. Epic заявляет, что их система предупреждений способна корректно различать наличие и отсутствие сепсиса у пациентов в 76% случаев. Новое исследование обнаружило, что в действительности это число достигает лишь 63%.
Пресс-секретарь Epic оспаривал выводы, содержащиеся в заявлении Stat News, апеллируя к другим исследованиям, подтверждающим точность алгоритма.
Сепсис нелегко определить на ранней стадии, но чем раньше будет начато лечение, тем выше шансы пациентов на выживание. Система от Epic и другие аналогичные инструменты автоматических предупреждений сканируют результаты тестов пациента на наличие показателей, свидетельствующих о развитии соответствующего состояния. Около четверти больниц в США используют электронные медицинские карты Epic, а системой прогнозирования развития сепсиса у пациентов пользуются сотни из них, в том числе Медицинский центр при Мичиганском университете, одним из старших профессоров которого является автор исследования Karandeep Singh.
В исследовании были проверены данные почти 40 000 госпитализаций центра Michigan Medicine в 2018 и 2019 годах. В 2552 из этих госпитализаций было обнаружено развитие сепсиса у пациентов. Система выявления сепсиса от Epic из этих случаев пропустила 1709, но все же треть из них была диагностирована и оперативно вылечена. Алгоритму удалось определить только 7% случаев развития сепсиса, пропущенных врачом. Также была обнаружена высокая вероятность ложных срабатываний: если система сгенерировала уведомление о развитии сепсиса у пациента, шанс того, что диагноз у пациента подтвердится составлял лишь 12%.
Как рассказал Singh в беседе с Stat News, отчасти проблема в том, как разрабатывался алгоритм Epic. Он диагностирует сепсис, исходя из момента выставления врачом счета на лечение, что необязательно совпадает с моментом, когда пациент впервые ощутил симптомы. Это означает, что выявляются случаи, когда врач уже предполагает наличие проблемы. «По сути алгоритм пытается предсказать то, чем врачи уже занимаются», — говорит Singh. Это также не является показателем развития сепсиса, которыми обычно оперируют исследователи.
Системы сбора данных о пациентах, позволяющие прогнозировать, что может произойти с их здоровьем, являются общими и могут быть полезны для врачей. Но они хороши ровно настолько, насколько хороши данные, на которых они базируются, и они в любом случае подлежат внешней оценке. Когда исследователи тщательно изучают такие инструменты, как этот, они иногда находят слабые места: например, исследование 2019 года обнаружило, что один из алгоритмов, использующийся основными системами здравоохранения для выявления пациентов, нуждающихся в особом уходе, был предвзят в отношении чернокожих пациентов.
В первые дни пандемии COVID-19 Epic представил другой инструмент прогнозирования, названный Deterioration Index («Индекс Ухудшения» прим. перев.). Он был разработан для помощи врачам в определении пациентов, нуждающихся в интенсивном уходе, и теми, кто может обойтись без него. Пандемия была чрезвычайной ситуацией, поэтому больницы по всей стране начали использовать его, прежде чем была проведена какая-либо независимая оценка. Даже сейчас инструмент остается не до конца исследованным. Одно небольшое исследование показало, что он может выявлять пациентов с высокой и низкой степенью риска, но при этом необязательно быть полезен для врачей. В системе могут быть непредвиденные проблемы и предубеждения, которые остались незамеченными, предупреждают исследователи Брауновского университета в материале Undark.
Если цифровые инструменты хотят оправдывать свой потенциал в сфере здравоохранения, такие компании как Epic должны обеспечивать прозрачность в отношении того, как эти системы созданы, а также их следует регулярно проверять, чтобы убедиться в их корректной работе, говорит Singh в своем твиттере. Эти инструменты становятся все более распространенными, поэтому такого рода вопросы не отпадут, рассказал Wired старший профессор Школы медицины университета Джонса Хопкинса Roy Adams. «Нам необходимо больше независимых оценок этих проприетарных систем», — говорит он.
