Симптом-чекеры оказались непригодны для постановки диагноза
Для эксперимента было отобрано 27 наиболее популярных в Австралии симптом-чекеров и подготовлено 48 описаний клинических случаев, включая некоторые специфические австралийские заболевания. Диагноз по каждому случаю предварительно был подтвержден двумя врачами общей практики и специалистом экстренной медицинской помощи, имевшими в сумме 87 лет врачебной практики.
В общей сложности было проведено 1170 тестов. В результате правильный диагноз был поставлен симптом-чекерами первым в списке возможных вариантов в 421 случае (36%). Среди верхних трех возможных вариантов правильный диагноз оказался в 606 тестах (52%).
В зависимости от конкретного чекера точность диагноза (постановка правильного диагноза на первое место) варьировалась в диапазоне от 12 до 61 процента. При этом симптом-чекеры, которые, по утверждению их разработчиков, базируются на ИИ, показали результат выше среднего — они поставили правильный диагноз на первое место в 46% случаев. Правда, как отмечают исследователи, эти программы требовали введения дополнительно демографичеких данных о пациенте.
19 симптом-чекеров были также проверены на правильность выдаваемых по итогам диагностирования рекомендаций. В 49% тестов эти рекомендации оказались верными, однако точность варьировалась в зависимость от типа клинического случая. В случаях, требующих неотложной помощи, рекомендации были правильными в 63% тестов, а в несрочных случаях этот показатель составил только 30%.
Несмотря на такие удручающие результаты, авторы исследования все же считают, что симптом-чекеры, хотя и не способны заменить настоящего врача, все же могут быть полезны в качестве источника информации общего, образовательного или исследовательского характера как для пациентов, так и для медиков. Но в разработке подобных программ должны обязательно участвовать квалифицированные медики, а точность выдаваемых ими результатов должна быть максимально высокой.
