Как с помощью нейронной сети снизить дозу КТ, не потеряв в качестве реконструкции
Привет, Хабр! Всем известно, что чрезмерное использование рентгеновских лучей негативно влияет на здоровье человека. Однако метод компьютерной томографии (КТ) очень востребован, так как позволяет неинвазивно визуализировать изображение внутренней структуры человеческого тела. О том что такое метод КТ мы писали ранее в статье. Поэтому задача снижения дозы в методе КТ возникла с момента введения в эксплуатацию первых сканеров. Существует множество методов снижения дозы излучения, получаемой пациентом, но, к сожалению, все они ведут к снижению диагностических качеств реконструированных изображений. Мы разработали метод снижения дозы излучения за счет снижения числа проекций, который сохраняет качество реконструированного изображения. Теоретически обоснованный метод базируется на применении нейронных сетей, показывает хорошее качество реконструкций, а быстродействие метода достигается за счет использования легковесной нейронной сети. Качество работы метода демонстрируется на открытом датасете с результатами томографии грудной клетки человека. Обо всем этом мы и расскажем в данной статье.
В нашей работе «Neural network regularization in the problem of few-view computed tomography» [1] мы предложили подход LRFR (Learned residual fourier reconstruction), который заключается в использовании особой нейронной сети для корректировки результатов реконструкции, без отклонения от исходных проекций.
Не уменьшая общности, будем рассматривать задачу двумерной томографической реконструкции. Чтобы понять суть подхода, рассмотрим связь между значениями проекций и реконструкций, которая представима в виде матричного уравнения
P = AR,
где P — матрица измеренных значений, R — изображение реконструкции, A — матрица связи между пикселями изображения R и пикселями проекций P.
Представленное матричное уравнение является системой линейных уравнений. Такие системы могут быть определены (иметь одно решение) и недоопроеделены (иметь множество решений). Второе может происходить в том случае, если количество известных значений меньше неизвестных, что соответствует случаю малого числа проекций.
Рисунок 1. Левая картинка — малоракурсная реконструкция. Правая картинка — модуль от двумерного Фурье образа реконструкции. Ненулевые линии на правой картинке соответствуют значениям проекций.
Таким образом, существует множество реконструкций (решений), точно соответствующих измеренным проекциям. Как следствие, становится невозможно определить верное решение без условия, ограничивающего область решений.
Мы предлагаем доуточнять реконструкцию в пределах возможных решений с помощью нейронной сети, основанной на следствии из теоремы о центральном сечении. Эта теорема утверждает, что значения одномерного Фурье образа строчки нашей проекции совпадают со значениями вдоль некоторой линии в двумерном Фурье образе реконструкции. Демонстрация этих линий приведена на рисунке 1. У этой теоремы есть следствие, которое утверждает, что если значения реконструкции вдоль этих линий проекций будут нулевыми, то посчитанные проекции от этой реконструкции будут нулевыми. Именно такие реконструкции позволяют доуточнить исходную реконструкцию, не выходя за множество возможных решений.
Для доуточнения мы используем U-net нейронную сеть, выход которой потом приводится в Фурье пространстве к нулевой проекции. На вход U-net сети подается изображение реконструкции, которое было предварительно интерполировано в частотном пространстве другой нейронной сетью. Схематичная архитектура предложенного подхода на рисунке 2. FT Mul, FT Mul 2, FT Mul 3 — это матрицы, которые умножаются на двумерный Фурье образ для придания добавкам от нейронных сетей свойства нулевых проекций от них. Точные архитектуры предлагаем посмотреть в нашей статье, указанной выше.
Рисунок 2. Архитектура предложенного подхода
Обучение проводилось на открытом датасете Low Dose CT Challenge [2], который содержит КТ сканы органов пациентов и соответствующие реконструкции. Всего в наборе 156 трехмерных реконструкций пациентов разного возраста и состояния здоровья.
На вход нейронной сети подавались изображения реконструкции, полученные по 32 проекциям с помощью итеративного алгоритма SIRT. На рисунке 3 видно, что реконструкция SIRT имеет легко различимые артефакты, например радиальные лучи и сильное размытие изображения.
Рисунок 3. SIRT-реконструкция (слева) и идеальное изображение (справа).
Предложенный подход мы сравнили с LPDR [3], широко известным нейросетевым подходом для решения задачи томографии. LPDR использует нейронные сети одновременно для обработки проекций, так и для обработки реконструкций, что делает его точным, но медленным. Примеры реконструкций, полученных с помощью этих сетей, показаны на рисунке 4. Видно, что подход LPDR сохранил радиальные артефакты малоракурсной томографии. На изображениях реконструкции предложенного подхода данных артефактов не наблюдается.
Рисунок 4. Сравнение предложенного нами подхода с LPDR.
Подход | PSNR | SSIM | Время реконструкции одного среза (мсек) | Количество обучаемых параметров | Количество арифметических операций |
LPDR | 37.55 | 0.879 | 154 | 2.5×10^5 | 6×10^11 |
LRFR | 38.06 | 0.891 | 108 | 7.3×10^6 | 3×10^11 |
Результаты работы сетей оценивались по метрикам SSIM, PSNR и времени восстановления изображений. Как видно из таблицы, предложенный подход показывает более высокую точность восстановления изображений и меньшее время работы на одном изображении.
Важно отметить, что подход LPFR имеет меньшее количество операций сложения и умножения, но большее количество обучаемых параметров. Замеры времени работы алгоритмов проводились на вычислителе со следующими параметрами: процессором AMD Ryzen 7 2700x, видеокарта Nvidia Titan Xp.
Заключение
Сегодня мы представили вам подход для построения реконструкций из небольшого количества проекций. Подход заключается в алгебраической реконструкции с последующей обработкой нейронной сетью, которая включает вычисления в пространстве Фурье. Тестирование проводилось на проекциях, общее число которых составило 32. В используемом наборе данных в среднем приходилось 613 проекций. Таким образом удалось сократить дозу на ~94.7%.
Предложенный подход по сравнению с LDPR на 0.012 точнее по метрике SSIM и на 0.5 по метрике PSNR. Время восстановления изображений в предложенном подходе в 1.5 раза меньше, чем у сравниваемого метода LPDR. Таким образом, предложенный метод заметно точнее и быстрее сравниваемого метода. Это делает его привлекательным для использования в реальных клинических условиях, где быстрота выполнения процедур является ключевым фактором.
Как мы видим, нейронные сети занимают все более серьезную позицию среди методов решения возникающих в томографии проблем. Кстати, нейросети в КТ активно используются в нашем продукте Smart Tomo Engine.
Ссылки
Yamaev, Andrei Viktorovich, et al. «Neural network regularization in the problem of few-view computed tomography.» Компьютерная оптика 46.3 (2022): 422–428.
McCollough, C. «TU‐FG‐207A‐04: overview of the low dose CT grand challenge.» Medical physics 43.6Part35 (2016): 3759–3760.
Adler, Jonas, and Ozan Öktem. «Learned primal-dual reconstruction.» IEEE transactions on medical imaging 37.6 (2018): 1322–133
