Разработка клинического ИИ-ассистента совместно с Penda Health22.07.2025 10:00

Системы искусственного интеллекта обладают потенциалом для улучшения здоровья человека во всем мире: делают надежную информацию о здоровье повсеместно доступной, помогают врачам оказывать более качественную помощь и дают людям возможность лучше понимать свое здоровье и отстаивать свои интересы в этой сфере. 

Производительность и безопасность больших языковых моделей (LLM) в сфере здравоохранения продолжают расти. Производительность моделей OpenAI на бенчмарке HealthBench⁠ выросла вдвое при переходе от GPT‑4o к o3, а передовые модели часто превосходят экспертов в таких задачах, как диагностическое рассуждение⁠ и клиническое обобщение⁠. Тем не менее, внедрение таких решений для решения реальных проблем пациентов и врачей остается медленным. Чтобы реализовать потенциал LLM в здравоохранении, экосистеме необходимо преодолеть разрыв между моделью и ее внедрением (model-implementation gap) — пропасть между тем, что модели могут делать, и тем, как они используются на практике. 

Чтобы продвинуть исследования в области практического внедрения, OpenAI заключила партнерское соглашение с Penda Health⁠ — провайдером первичной медико-санитарной помощи, работающим в Найроби (Кения) с 2012 года, — для проведения новаторского исследования клинического второго пилота (копилота) Penda на базе LLM. Компания Penda создала своего копилота, AI Consult, чтобы предоставлять врачам рекомендации, созданные LLM, в ключевые моменты визита пациента. AI Consult действует как система безопасности в реальном времени, которая активируется только тогда, когда может возникнуть ошибка, оставляя полный контроль в руках врача. 

В ходе исследования 39 849 визитов пациентов в 15 клиниках у врачей, использовавших AI Consult, наблюдалось относительное сокращение диагностических ошибок на 16% и ошибок лечения на 13% по сравнению с теми, кто работал без него. 

Мы считаем, что этот результат стал следствием трех ключевых факторов:

• Мощная модель: в копилоте Penda использовалась GPT‑4o с августа 2024 года, и с тех пор модели стремительно совершенствовались. Производительность модели больше не является ограничивающим фактором.
• Клинически адаптированное внедрение: копилот разрабатывался совместно с клиническими специалистами, чтобы гарантировать, что он действительно поддерживает, а не нарушает рабочий процесс оказания помощи.
• Активное развертывание: Penda приложила значительные усилия, чтобы помочь врачам понять, зачем и как использовать копилот, что имело решающее значение для его принятия.

Сегодня мы публикуем результаты исследования вместе с подробным обзором успешного внедрения Penda, предлагая экосистеме ранний шаблон безопасного и эффективного использования LLM для поддержки врачей.

Для проведения исследования мы активно взаимодействовали с местными заинтересованными сторонами. Этот проект по исследованию качества был одобрен Комитетом по этическим и научным исследованиям AMREF Health Africa, Министерством здравоохранения Кении, Агентством цифрового здравоохранения и Департаментом здравоохранения округа Найроби, а также проводился в рамках исследовательской лицензии Национальной комиссии Кении по науке, технологиям и инновациям. 

Системы ИИ могут быть особенно полезны в первичном звене здравоохранения. Врачи общей практики принимают пациентов всех возрастов, с заболеваниями любых систем органов и видов болезней, зачастую в течение одного дня, что требует огромного багажа знаний. Такая сложность делает медицинские ошибки распространенным явлением: ВОЗ сообщает⁠, что вред пациентам в первичном звене здравоохранения является как распространенным, так и предотвратимым явлением. 

Penda Health — это социальное предприятие, целью которого является предоставление высококачественной и доступной медицинской помощи. Penda управляет 16 клиниками, каждая из которых оказывает услуги первичной медико-санитарной помощи, неотложной помощи, а также имеет лабораторные службы и аптеку. Эти клиники открыты круглосуточно и принимают почти полмиллиона пациентов ежегодно. Penda уделяет исключительное внимание качеству ухода, реализуя активную программу обучения врачей и контроля качества, а также разработала и протестировала предыдущие итерации⁠ систем-копилотов.

После выпуска ChatGPT главный медицинский директор Penda, доктор Роберт Кором (Dr. Robert Korom), осознал, как LLM могут обеспечить более качественную поддержку принятия решений за счет охвата более широкого спектра состояний и потенциальных ошибок, чем это было возможно ранее. В ответ на это компания Penda создала один из первых клинических копилотов на базе LLM, позволяющий врачам при желании запросить второе мнение у модели. В ходе внутреннего аудита Penda изучила 100 результатов работы LLM для реальных случаев приема пациентов и обнаружила множество ситуаций, когда ответы модели были полезны, и ни одного случая, когда они нанесли бы вред. Тем не менее, эта ранняя версия AI Consult получила ограниченное распространение, поскольку требовала от врачей активного запроса помощи и прерывала ход взаимодействия с пациентом.

В начале 2025 года компания Penda разработала новую версию AI Consult, которая действует как система безопасности в реальном времени в рамках рабочего процесса врача. Этот копилот интегрирован в электронную медицинскую карту, которую врачи Penda используют ежедневно, и работает в фоновом режиме во время каждого визита. Когда врачи общаются с пациентами и документируют визиты, обезличенная медицинская документация отправляется в OpenAI API в ключевые моменты. Затем AI Consult предоставляет врачам необходимые отзывы на основе текущего клинического взаимодействия. Предусмотрено три типа ответов:  

• Зеленый: означает отсутствие проблем; отображается в виде зеленой галочки.
• Желтый: указывает на умеренные проблемы; отображается в виде значка звонящего колокольчика, который врачи могут просмотреть по желанию.
• Красный: указывает на критические проблемы с безопасностью; появляется во всплывающем окне, которое врачи обязаны просмотреть перед продолжением работы.

Компания Penda разработала AI Consult с учетом требований безопасности пациентов. Копилот действует как система защиты, выявляя потенциальные ошибки для проверки врачом, а не предпринимая действия от его имени. Важно отметить, что на каждом этапе рабочий процесс контролируют клиницисты: когда копилот выявляет потенциальные ошибки, врачи могут сами решать, изменять ли свои решения на основе полученных отзывов, при этом окончательное решение всегда остается за врачом. AI Consult был адаптирован к специфике Penda: промпты включают данные кенийской эпидемиологии, руководство по местным клиническим рекомендациям и стандартные процедуры клиник Penda.

Penda внедрила AI Consult для случайно выбранной половины своих врачей в рамках практики по улучшению качества обслуживания. Это развертывание проходило в два этапа: период адаптации (30 января — 28 февраля) и основной период (1 марта — 17 апреля). 

В период адаптации компания использовала отзывы врачей для совершенствования копилота. Это включало в себя устранение технических проблем, которые невозможно было выявить при тестировании (например, некорректное срабатывание в некоторых случаях), и доработку рабочих процессов клиницистов (например, срабатывание предупреждения об отсутствии измерения артериального давления при осмотре ребенка, хотя в Penda рутинное измерение давления детям не проводится). В этот период Penda также заметила, что врачи только учились пользоваться AI Consult — например, они часто игнорировали красные предупреждения, поскольку не осознавали их важности, — что указало на необходимость помощи врачам в правильном использовании инструмента. 

В течение основного периода Penda предприняла несколько шагов, чтобы помочь клиницистам эффективнее использовать AI Consult. К ним относятся:  

• Взаимодействие: коллеги-лидеры и руководители филиалов объясняли важность копилота, знакомили коллег с его сильными сторонами и ограничениями, а также предлагали индивидуальный коучинг для поддержки внедрения. 
• Измерение: Penda отслеживала, как часто врачи взаимодействуют с рекомендациями AI Consult, и организовывала персонализированное наставничество.
• Стимулирование: руководство по качеству Penda отмечало врачей и клиники, которые успешно использовали AI Consult.

Penda сотрудничала с OpenAI для анализа последствий внедрения копилота, сравнивая медицинскую помощь, оказываемую врачами, у которых был доступ к AI Consult, и теми, у кого его не было. OpenAI оказала финансовую поддержку исследования и консультировала по вопросам дальнейшего развития копилота. 

В анализ включались только те пациенты, которые дали индивидуальное согласие на использование их данных в исследовании по улучшению качества, причем они могли отозвать свои данные по запросу. Комитет по этическим и научным исследованиям AMREF постановил, что дополнительного согласия для данного исследования не требуется.

В исследовании проанализированы данные 39 849 визитов пациентов: 20 859 в группе с AI Consult (группа ИИ) и 18 990 в группе без него (группа без ИИ). 

108 независимых врачей (29 из Кении) оценили итоговую документацию и решения по 5666 случайно выбранным визитам с целью выявления ошибок. Они оценивали четыре параметра: качество сбора анамнеза; уместность назначенных исследований; правильность поставленного диагноза и правильность назначенного лечения.

Количество ошибок во всех четырех категориях оказалось значительно ниже в группе ИИ по сравнению с группой без ИИ. Ошибки при сборе анамнеза сократились на 32%, ошибки при назначении исследований — на 10%, диагностические ошибки — на 16%, а ошибки в лечении — на 13%. Этот эффект был еще более выражен в случаях, когда AI Consult выдавал хотя бы одно красное предупреждение: в таких визитах ИИ снизил количество диагностических ошибок на 31%, а ошибок лечения — на 18%.

Эти показатели эффективности сопоставимы с программами рационального применения антибиотиков⁠ или системами оповещения⁠, стимулирующими назначение статинов пациентам, которым они необходимы. При этом результаты достигаются с помощью единой системы, способной поддерживать самые разные клинические решения. В абсолютном выражении внедрение AI Consult позволило бы предотвратить диагностические ошибки при 22 000 визитов и ошибки лечения при 29 000 визитов ежегодно только в сети Penda.

Мы также изучили конкретные типы ошибок, которые помог сократить AI Consult. Выяснилось, что в группе ИИ реже пропускают ключевые детали анамнеза, упускают из виду важные исследования или ошибаются в основном диагнозе. Кроме того, врачи, использовавшие ИИ, реже допускали ошибки при назначении лекарств или упускали важные моменты обучения пациентов.