Глубокое обучение для деформируемой регистрации медицинских изображений18.06.2024 08:30

Регистрация изображений в медицинской диагностике. Large Deformation Diffeomorphic Metric Mapping.

В общем случае задача регистрации изображений ставится как поиск отображения для пары изображений, которое будет переводить начальное изображение в конечное. Можно разделить регистрацию на два класса: жёсткую и деформируемую. Методы жёсткой регистрации рассматривают преобразования изображения как единого целого, то есть включают в себя только повороты и сдвиги изображений. В отличие от жёсткой, деформируемая регистрация позволяет описывать нелинейные локальные нелинейные изменения на изображении.

Рассмотрим всё описанное выше с математической точки зрения: пусть нам даны начальное и конечное изображения, имеющие ${n\times m \times p}$ вокселей. Деформируемую регистрацию изображения можно описать как поиск отображения, минимизируещего следующий функционал потерь:

$\hat\phi =\underset{\phi\ \in\ Diff\ R^{n\times m \times p}}{\operatorname{argmin}} (I_m \circ \phi, I_f),$

где I_m — начальное изображение, а I_f — конечное (в зарубежной литературе moving и fixed соответственно).

Иными словами, мы хотим получить такое отображение из класса диффеоморфизмов, при котором разница между преобразованным начальным и конечным изображением была минимальной. Диффеоморфность преобразования необходима для того, чтобы полученное отображение было обратимым. Однако как проверить диффеоморфность отображения на компьютере, который умеет обрабатывать только дискретные переменные?

Эта задача решается с помощью метода Large Deformation Diffeomorphic Metric Mapping (LDDMM). Если описывать идею вкратце, не вдаваясь в сложные математические подробности, мы должны ввести сетку на изображения и посчитать якобиан отображения в каждой точке изображения. Если якобиан в каждой точке сетки положителен, то полученное отображение будем считать диффеоморфным. Более подробное описание методики LDDMM представлено здесь.

Вообще говоря, регистрация изображений может проводиться не только для пары изображений, но и для временной серии изображений. В этом случае получаемое отображение будет интерполироваться в промежуточных изображениях.

Итак, с теорией покончено, пора переходить к практике!

Применение деформируемой регистрации изображений в медицине.

Деформируемая регистрация изображений имеет широкий спектр применения. Источниками изображений для деформируемой регистрации могут выступать изображения компьютерной томографии (КТ), магнитно-резонансной томографии (МРТ), УЗИ, флюорографии и др. Вот несколько примеров применения деформируемой регистрации изображений в медицине:

Онкология: Деформируемая регистрация используется для отслеживания изменений в размере и форме опухолей во времени, что критически важно для планирования лечения и оценки его эффективности. Пример статьи: Deformable image registration in radiation therapy.
Кардиология: Деформируемая регистрация применяется для анализа движения и деформации сердечной мышцы, что помогает в диагностике и лечении сердечно-сосудистых заболеваний. Пример статьи: Deformable Image Registration Using Vision Transformers for Cardiac Motion Estimation from Cine Cardiac MRI Images.
Ортопедия: В ортопедии деформируемая регистрация может использоваться для сравнения изображений суставов до и после операции, что помогает в оценке результатов хирургического вмешательства. Пример статьи: «Model-based registration for assessment of spinal deformities in idiopathic scoliosis».
Исследования мозга: Деформируемая регистрация помогает в исследованиях мозга, позволяя сравнивать мозговые сканы разных людей для изучения анатомических различий и паттернов активности Пример статьи: «A reproducible evaluation of ANTs similarity metric performance in brain image registration».

Деформируемая регистрация для реконструкции поведения сосудов.

Классические подходы к деформируемой регистрации изображений.

Классические методы деформируемой регистрации изображений осуществляют оптимизацию функционала потерь методами градиентного спуска, а также проверяют диффеоморфность полученного отображения. Наиболее популярные алгоритмы деформируемой регистрации представлены в программных комплексах ANTs и greedy. По ссылкам можно найти подробное описание этих методов с примерами их использования.

Достоинство этих методов состоит в том, что их довольно просто запустить, а также они дают возможность повысить точность регистрации путём учёта разметки анатомических регионов с помощью масок классов. Код получения отображения при деформируемой регистрации выглядит следующим образом (в качестве примера показано решение задачи деформируемой регистрации с помощью greedy):

greedy -d 3 \ 
-i path-to-fixed-image.nii.gz path-to-moving-image.nii.gz \
-gm path-to-fixed-segmentation.nii.gz \
-mm path-to-moving-segmentation.nii.gz \
-o path-to-warp.nii.gz \ 
-sv -n 100x50x10 -m NCC 4x4x4

Теперь применим полученное отображение к начальному изображению:

greedy -d 3 \
-rf path-to-fixed-image.nii.gz \
-rm path-to-moving-image.nii.gz path-to-warped-image.nii.gz \
-ri LABEL 0.2vox \
-rm path-to-moving-segmentation.nii.gz path-to-warped-segmentation.nii.gz \
-r path-to-warp.nii.gz

Однако у всех классических подходов есть недостатки. Во-первых, они не универсальны. Необходимо каждый раз подбирать параметры для запуска. Второй недостаток ещё более существенный: мы ищем отображение в классе диффеоморфизмов, который достаточно обширен. Это значит, что полученные отображения могут некорректно отображать реальные физические процессы, происходящие в области наблюдения за длительный промежуток времени.

Нейросетевые подходы к регистрации изображений. VoxelMorph и её модификации.

Решением ранее озвученных недостатков классических подходов является использование нейросетей. В последнее время большое распространение для решения задач деформируемой регистрации медицинских изображений получила нейросеть VoxelMorph.

VoxelMorph основана на свёрточной нейронной сети, аналогичной U-Net. Она получает на вход два изображения и маски классов (опционально), а на выходе отображение, переводящее начальное изображение в конечное.

Архитектура VoxelMorph на примере деформируемой регистрации головного мозга.

Помимо преимущества в универсальности, которое дают нейросети, есть преимущество в том, что мы можем изменять функцию потерь, добавляя в неё регуляризаторы, чтобы получить физически обоснованное отображение.

Для начала добавим условие на гладкость отображения и введём учёт точности преобразования масок классов:

$\hat\phi =\underset{\phi\ \in\ Diff\ R^{n\times m \times p}}{\operatorname{argmin}} (I_m \circ \phi, I_f) + \lambda\|\nabla \phi\|_2+ \gamma(S_m \circ \phi, S_f)$

HyperMorph

Теперь важно задать вопрос: как подбирать гиперпараметры $\lambda$ и $\gamma$ при регуляризаторах? С одной стороны, можно обучить несколько моделей с разными значениями гиперпараметров, но этот процесс отнимает много времени и ресурсов. Для решения этой проблемы была разработана модификация VoxelMorph — HyperMorph.

Архитектура HyperMorph на примере с КТ-снимками аневризмы брюшной аорты.

HyperMorph представляет собой надстройку в виде полносвязной нейронной сети $h_\theta$ над основной сетью VoxelMorph. Помимо изображений, HyperMorph принимает на вход генерируемые случайным образом значения гиперпараметров в виде множества Λ = {λ, γ} и подсчитывает значения всех весов θ_g основной сети UNet $g_\theta$ , из которой состоит исходная архитектура VoxelMorph. Таким образом, все обучаемые веса находятся только в сети h_θ , а не в $g_\theta$ .

На каждой итерации обучения HyperMorph генерируются входные данные, которые в случае обучения на размеченных изображениях содержат I_m , I_f , S_m , S_f , а также значения гиперпараметров $\Lambda = \{{\lambda', \gamma'}\}$ , получаемые как случайные числа из равномерного распределения U[0, 1] . Функция ошибки предсказания модели из формулы модифицируется следующим образом:

$L_{hyp} (I_m, I_f , \phi, Λ) = (1−\lambda')(1−\gamma' )L_{sim}(I_m \circ \phi, I_f)+\lambda' L_{smooth}(\phi)+\\+ \gamma' L _{seg}(S_m\circ\phi, S_f )$

Множитель $(1−\lambda')(1−\gamma' )$ перед первым слагаемым позволяет покрыть все возможные соотношения весовой значимости между каждым слагаемым ошибки с помощью значения параметров ${\lambda', \gamma'}$ от 0 до 1.

Как было отмечено выше, помимо гладкости отображения и сходства между преобразованным начальным и конечными изображениями важно получать отображения, которые будут отражать физические процессы, происходящие в области наблюдения со временем. Для получения физически обоснованных преобразований можно использовать регуляризаторы, в основе которых заложена физическая модель, описывающая механику среды. В частности, в статье Learning Physics-Inspired Regularization for Medical Image
Registration with Hypernetworks была предложена модель упругой среды для задачи деформируемой регистрации изображений лёгких. При этом гиперпараметры, получаемые в процессе обучения HyperMorph носят не абстрактный, а физический смысл! Это значит, что таким образом можно оценивать параметры среды в пределах применимости используемой физической модели.

VoxelMorph++

Ещё одной модификацией VoxelMorph является архитектура VoxelMorph++, которая позволяет улучшить качество деформируемой регистрации путём учёта ключевых точек (keypoints) в регионах интереса. В этой архитектуре была заменена голова сети VoxelMorph, которая позволяет сделать фокус на смещении соответствующих ключевых точек между изображениями, что повышает точность регистрации больших деформаций между изображениями.

Такой подход позволил авторам статьи повысить качество деформируемой регистрации изображений для снимков лёгких. Помимо этого, предполагается, что VoxelMorph++ может быть использован для получения более точного отображения, если приходится иметь дело с изображениями мягких тканей организма.

Заключение.

Деформируемая регистрация изображений играет важную роль в современной медицинской диагностике, позволяя точно отслеживать изменения во времени и обеспечивая высокую точность в планировании лечения и оценке его эффективности.

Прогресс в методах регистрации: С развитием методов глубокого обучения, таких как VoxelMorph и его модификации, открываются новые возможности для улучшения качества и точности деформируемой регистрации. Эти методы предлагают более универсальные и адаптивные решения по сравнению с классическими подходами.

Физическая основа регистрации: Внедрение физически обоснованных регуляризаторов в процесс обучения нейросетей позволяет получать отображения, которые лучше отражают реальные физические процессы, происходящие в тканях, что является значительным прогрессом в области медицинской визуализации.

Перспективы развития: Постоянное совершенствование алгоритмов и архитектур нейросетей, таких как HyperMorph и VoxelMorph++, открывает новые горизонты для исследований и клинического применения деформируемой регистрации, делая её более точной и эффективной.

В целом, деформируемая регистрация изображений с использованием методов глубокого обучения представляет собой мощный инструмент, который будет продолжать развиваться и оказывать значительное влияние на медицинскую диагностику и лечение.

Статья написана при поддержке магистратуры «Прикладное машинное обучение и большие данные» НГУ.