Как нейросети обманывают врачей17.01.2023 12:31

Волна нейросетевых инноваций дошла и до компьютерной томографии (КТ), что в целом неудивительно, учитывая количество задач анализа изображений в КТ и бурный рост области применения методов машинного обучения. Тут и задачи сегментации (например, выделение опухолей, визуализация), и анализ изображения (детекция COVID-19), и даже повышение точности реконструкции. При этом если первые два случая применения нейронных сетей являются консультирующим инструментом для врача и никак не изменяют изображение, то использование нейросетей для получения реконструкции из исходных данных может представлять реальную опасность. Так нейронная сеть может стереть или дорисовать важные для диагностики здоровья пациента детали на реконструированном изображении и ввести врача в заблуждение. В данной статье мы расскажем где и зачем применяются нейронные сети в томографии, об аппаратных атаках на них и постараемся количественно оценить безопасность применения инструментов машинного обучения в компьютерной томографии.

Поскольку о вреде рентгеновского излучения известно достаточно давно, то и задача снижения дозы при сохранении качества изображения возникла примерно одновременно с возникновением КТ и введением в эксплуатацию первых медицинских томографов в 1979 году. С тех пор непрерывно совершенствуются как конфигурации томографов, так и отдельные его узлы, разрабатываются новые протоколы сканирования, новые алгоритмы реконструкции и пост-обработки изображений. Для достижения цели используются самые современные средства, и, разумеется, приход искусственного интеллекта (ИИ) не заставил себя долго ждать.

Основной способ снижения дозовой нагрузки, без изменений конструкции томографа и протокола исследования, — уменьшение времени регистрации или экспозиции одного рентгеновского снимка (т.н. проекции). Из набора проекций, снятых под разными углами, с помощью алгоритма реконструкции (например, алгоритма свертки и обратной проекции или Filtered Back Projection (FBP)) восстанавливается изображение внутренней структуры исследуемого объекта. В случае если проекции сняты с уменьшенным временем экспозиции, то при применении классических алгоритмов реконструкции на восстановленном изображении появляются искажения типа «соль/перец» или мелкозернистый шум. Пример сечения восстановленного изображения по данным с нормальной и сокращенной экспозицией приведен на рис. 1. Стрелкой показана опухоль, которую необходимо обнаружить врачу для правильной постановки диагноза. На правом изображении из-за шума опухоль становится слабо различимой, соответственно, поставить правильный диагноз по такому изображению будет затруднительно.

Рис. 1. Пример (А) сечения реконструированного изображения с нормальной и (Б) сокращенной экспозицией https://projects.iq.harvard.edu/camca/low-dose-ct-reconstruction-using-spatially-encoded-nonlocal-penalty-winner-2016-low-dose-ct

Однако современные технологии не стоят на месте, применение нейронных сетей во всевозможных задачах тому пример. Нейронные сети хорошо справляются с проблемой шумоподавления и показывают state-of-the-art результаты в данной области. На рис. 2 показан пример работы нейронной сети (https://github.com/cszn/DnCNN), которая подавляет шум на фотографиях. По рис. 1 (Б) и рис. 2 (А) наблюдается визуальное сходство шума на фотографиях и результатах КТ с уменьшенной экспозицией, а значит те же самые архитектуры нейронных сетей могут быть использованы и для шумоподавления в томографии, поэтому естественное развитие метода КТ — разработка систем ИИ для томографической реконструкции.

Рис. 2. А) Зашумленное изображение. Б) Изображение (А), обработанное с помощью нейронной сети DcNN https://github.com/cszn/DnCNN

Системы ИИ для шумоподавления в томографии бывают трех типов. Первым тип — предпроцессинговый ИИ. Такие системы ИИ подавляют шум в пространстве рентгеновских снимков, после чего применяют алгоритм реконструкции. Их преимущество заключается в возможности учета физической модели шума. Второй тип — система ИИ с одновременной реконструкцией и подавлением шума. Основное преимущество таких систем ИИ — оптимальное сочетание качества и быстродействия. Еще одним вариантом использования нейронных сетей в томографии является обработка уже реконструированного изображения — пост-процессинговые системы ИИ, для которых возможно применять абсолютно любой алгоритм томографической реконструкции. Однако несмотря на все преимущества нейросетевых алгоритмов, у них есть существенный недостаток. А именно, они могут быть неустойчивы к атакам или малым искажениям входных данных, которые сильно меняют результат работы нейронной сети. В отдельных случаях это может приводить к необратимым последствиям в процессе использования уже обученных нейросетевых алгоритмов. Что такое атаки на искусственный интеллект, как они устроены и к каким последствиям могут приводить мы писали тут.

Атаки на алгоритмы реконструкции в томографии опасны тем, что они могут приводить к ошибке постановки диагноза, которая может быть совершена, к примеру, если алгоритм нарисует на реконструированном изображении несуществующую в реальности опухоль. Чтобы подобного не происходило, надо научиться определять насколько устойчивы томографические системы ИИ к малым искажениям входных данных. Этим мы и занялись в рамках нашей научной работы, а результат оформили в виде статьи в журнале MPDI Mathematics [1]. В работе мы исследовали устойчивость двух классических томографических алгоритмов реконструкции (FBP, SIRT — о них мы писали здесь) и наиболее популярных томографических систем ИИ для шумоподавления. Среди них нейронная сеть Unet1D [2] — предпроцессинговый ИИ; нейросетевые алгоритмы реконструкции Learned Primal-Dual Reconstruction (LPDR) [3] и TiraFL [4]; две постпроцессинговые системы ИИ — ResUNet [5] и FBPConvNet [6]. Проверка на устойчивость алгоритмов заключалась в оценке возможности по данным здорового пациента реконструировать изображение, которое привело бы к врачебной ошибке, т.е. с дефектом, похожим на болезнь. Мы выбрали 4 изображения с инфекционными заболеваниями легких из медицинского атласа КТ [7]. Они показаны на рис. 4, красными прямоугольниками обозначены места, по которым врач определяет наличие у пациента той или иной инфекционной болезни. Если на реконструкции в обозначенном красным прямоугольником ничего не восстановилось, то и заболевания у пациента нет. Это референсные изображения, по которым будем судить насколько реконструирующий алгоритм научился галлюцинировать.

Рис. 4. Выбранные для галлюцинаций алгоритмов реконструкции изображения с инфекционными заболеваниями легких

Далее для каждого алгоритма реконструкции будем искать минимальную добавку к исходным проекциям здорового пациента, которой достаточно для получения реконструкций с изображением заболевания. Для этого построим оптимизационную задачу, в которой будем минимизировать декартову норму между референсным изображением с болезнью и реконструкцией, полученной исследуемым алгоритмом. Ниже на рис. 9–12 показаны примеры пар изображений, которые получилось подобрать для исследуемых томографических систем ИИ. Насколько правдоподобная реконструкция получилась, т.е. насколько изображение похоже на реконструкцию больного пациента, помогала нам определять врач-рентгенолог Клинического центра Сеченовского Университета. Она отобрала для нас примеры, по которым мы вычисляли оценку устойчивости алгоритмов.

Рис. 9. Изображения с реконструкцией здорового пациент алгоритмом UNet1D без атаки (левое изображение) и с атакой (правое) на исходные данныеРис. 10. Изображения с реконструкцией здорового пациент алгоритмом TiraFL без атаки (левое изображение) и с атакой (правое) на исходные данныеРис. 11. Изображения с реконструкцией здорового пациент алгоритмом FBPConvNet без атаки (левое изображение) и с атакой (правое) на исходные данныеРис. 12. Изображения с реконструкцией здорового пациент алгоритмом LPDR без атаки (левое изображение) и с атакой (правое) на исходные данные

Для оценки устойчивости алгоритма реконструкции мы ввели функцию SM, которая вычисляется по следующей формуле:

где ∆P — аналитически рассчитанная добавка к исходным проекционным данным, которая необходима для получения реконструкции с заданным искажением. Добавка рассчитывается с помощью оператора прямого проецирования по изображению с искажением. ∆PM — минимальная добавка к исходным данным, которая необходима для получения исследуемым алгоритмом реконструкции искаженного изображения. Функция SM принимает значения в интервале от 0 до 1. Значение 1 соответствует идеально устойчивому алгоритму реконструкции, 0 — неустойчивому.

В таблице ниже приведены усредненные значения функции SM, рассчитанные для всех 4 типов поражения легких.

По таблице видно, что значения 1 не достигает ни один алгоритм, даже классический. Таким образом, потенциально обмануть врачей может не только система ИИ, но и классический алгоритм реконструкции. Среди всех томографических систем ИИ, которые мы исследовали, методы нейросетевой постобработки результатов реконструкции наиболее устойчивые к атакам.

Заключение

Описанный в сегодняшний статье подход полностью укладывается в парадигму Ответственного искусственного интеллекта. И мы искренне призываем всех разработчиков систем (особенно, связанных с жизнью и здоровьем), использующих ИИ как инструмент, строго придерживаться этой парадигмы.

© Habrahabr.ru