МРТ для DataScience. Часть 121.01.2025 10:00

За полтора года работы с сегментацией МРТ-данных у меня накопилось множество прочитанных статей, а также своих заметок, мыслей и почеркушек. После их сборки получился вполне объемный материал, который я буду здесь постепенно выкладывать. Планирую по понедельникам и четвергам. Сегодня — содержание всего цикла, список литературы, на который я ссылаюсь по ходу, и первый обзорный кусок.

На подобный материал меня сподвигло бесконечное погружение в предметную область — для медицинских изображений она неожиданно оказалась намного сложнее спутниковых и сейсмических данных, с которыми мне довелось поработать ранее. Про картинки уж вообще молчу.

Но чем глубже приходилось закапываться, тем сложнее было найти именно ту информацию, которая нужна для анализа снимков нейронными сетями. Порой одна строчка в большой статье, замечание автора между делом и оказывалась тем кусочком паззла, которого так не хватало. И в поисках этих жемчужин приходилось перелопачивать кучу информации, которая важна врачам, операторам томографов, но не DS-ам.

Весь текст — это максимально сжатая информация, которая помогла мне разобраться в специфике этих данных. Без понимания, как именно МРТ-снимки создаются, мне не удалось в свое время решить ряд задач. Поэтому в начале я так много внимания уделяю физике процесса. Но это — самый минимум, без формул и прочей глубокой теории.

И в то же время, это — только вершина айсберга. В данную тему можно закопаться еще на пару лет минимум. Мой черновик пестрит пометками «TODO: разобраться глубже!» Поэтому скажу огромное спасибо за любые комментарии, особенно от тех, кто уже имел дело с медицинскими изображениями!

Картинка для обложки статьи создана в ИИ Шедеврум.

Содержание

  1. МРТ и другие виды медицинской визуализации
    Медицинская интроскопия (визуализация). Томография. Магнитно-резонансная томография. Иерархия МРТ-данных.

  2. Ликбез по устройству МР-томографа
    Устройство и принцип работы МР-томографа.

  3. От сигнала к изображению
    Импульсные последовательности. Пространственная локализация сигнала. К-пространство. Артефакты.

  4. Геометрия МРТ изображений
    Размеры и значения пикселей\вокселей. Поле зрения (FOV). Системы координат.

  5. Некоторые серии и методы (2 части)
    Анатомические и функциональные серии: T1W, T2W, PdW, DWI, ADC, DCE, FLAIR, STIR. Размерности серий и их регистрация. Методы Echo Planar Imaging (EPI) и PROPELLER.

  6. Некоторые библиотеки для работы с МРТ-изображениями
    SimpleITK. PyDicom. PyNrrd.

  7. Задача выбора нужной серии из исходного набора данных
    Постановка задачи. Определение общих параметров данных. Определение параметров импульсной последовательности. Определение геометрии данных. Алгоритм выбора T2W серии.

  8. Некоторые подходы к препроцессингу и аугментации данных
    Выравнивание распределений. Look-Up Table (LUT). Автоматический препроцессинг. Особенности аугментации МРТ-данных. Может, что-то еще — в работе.

  9. Эксперименты на публичных датасетах
    В планах.

Список литературы

  1. Марченко Е.С. Основы медицинской интроскопии : учебное пособие: [для студентов технических и биологических факультетов вузов] / Е.С. Марченко ; Нац. исслед. Том. гос. ун-т. — Томск: Издательский Дом Томского государственного университета, 2018.
    http://vital.lib.tsu.ru/vital/access/manager/Repository/vtls:000648376

  2. Аганов А.В. Введение в магнитно-резонансную томографию. Учебно-методическое пособие. Казань, 2014. https://kpfu.ru/docs/F807971830/16.MRT.pdf

  3. Ильясов К.А. Принципы получения изображений в магнитно-резонансной томографии. Учебно-методическое пособие. Казань, 2014. https://kpfu.ru/portal/docs/F_1277485057/Principy.polucheniya.izobrazhenij.v.MRT.Ilyasov.pdf

  4. Interactive learning on magnetic resonance imaging. https://www.imaios.com/en/e-mri

  5. Анисимов Н.В., Батова С.С., Пирогов Ю.А. Магнитно-резонансная томография: управление контрастом и междисциплинарные приложения. Москва, 2013. https://istina.msu.ru/publications/book/4981506/

  6. Сергунова К.А., Петряйкин А.В., Ахмад Е.С. и др. Моделирование процессов диффузии в магнитно-резонансной томографии. Радиология — практика, 2019. https://www.google.com/url? sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&ved=2ahUKEwi4hM6P6fWCAxVfGBAIHdKkDgoQFnoECAoQAQ&url=https%3A%2F%2Fwww.radp.ru%2Fjour%2Farticle%2Fdownload%2F52%2F52&usg=AOvVaw2NL0_cvJK3Y6NHtdt9ZKVO&opi=89978449

  7. Джозеф П. Хорнак. Основы МРТ. https://euromedcompany.ru/materialy-po-tomographii/osnovy-mrt/

  8. Diffusion-Weighted Imaging of the Prostate. https://radiologykey.com/diffusion-weighted-imaging-of-the-prostate/

1. МРТ и другие виды медицинской визуализации

Цель данного раздела — обозначить место МРТ в мире методов медицинской визуализации и его отношение с такими известными «соседями», как компьютерная томография, ПЭТ и др.

1.1. Медицинская интроскопия (визуализация)

Под интроскопией понимается неразрушающее (неинвазивное) исследование внутреннего строения объекта. В приложении к медицине речь идет об организме человека, его внутренних органах и отдельных тканях. Неинвазивность исследования означает, что осуществлять его можно только с помощью различных излучений, проходящих через живой организм.

В современной медицинской интроскопии используется практически весь спектр электромагнитного излучения, от радиоволн до гамма-излучения. В зависимости от диапазона можно выделить следующие виды медицинской интроскопии [1]:

  1. Ядерно-магнитно-резонансная (ЯМР) — радиоволновое излучение;

  2. Инфракрасная — инфракрасное излучение;

  3. Эндоскопическая — видимое излучение;

  4. Ультрафиолетовая — ультрафиолетовое излучение;

  5. Рентгеновская — рентгеновское излучение;

  6. Радионуклидная или радиоизотопная — гамма-излучение.

Рисунок 1. Спектр электромагнитного излучения [1]

Рисунок 1. Спектр электромагнитного излучения [1]

Дополнить список можно широко известной ультразвуковой интроскопией, которая основана на излучении не электромагнитной, а акустической природы.

Методы Data Science сегодня наиболее активно применяются для решения таких задач в рамках медицинской интроскопии, как, например:

  1. Классификация исследований по наличию\отсутствию различных заболеваний.

  2. Визуализация отдельных органов и их структуры — детекция и анатомическая сегментация, например, мозга и его отделов. На основе построенной по результатам сегментации 3D-модели органа могут решаться и другие задачи, например, расчет его размеров (морфометрия).

  3. Визуализация отдельных тканей, как правило, патологических — например, детекция и сегментация рака. Для выделенных тканей часто определяются дополнительные характеристики, которые позволяют, например, классифицировать опухоль по степени злокачественности.

  4. Реконструкция (например, с более высоким разрешением или меньшим шумом) и генерация новых медицинских изображений.

1.2. Томография

Томография — метод исследования внутренней структуры объекта путем формирования его послойных изображений в определенной плоскости (tomos, греч. — слой, сечение).

Примеры видов томографии в привязке к видам медицинской интроскопии:

  1. Магнитно-резонансная томография (МРТ) — ядерно-магнитно-резонансная интроскопия.

  2. Рентгеновская компьютерная томография (КТ, РКТ) — рентгеновская интроскопия.

  3. Позитронно-эмиссионная томография (ПЭТ) — радионуклидная или радиоизотопная интроскопия.

  4. Ультразвуковая компьютерная томография (УКТ) — ультразвуковая интроскопия.

В каждом виде томографии используются не только разные излучения, но и свои методы регистрации сигналов и построения итоговых изображений. Поэтому задачи Data Science имеют свои особенности в каждой области.

Однако есть и общие понятия для всех видов, которые связаны с самой спецификой томографических исследований.

Так, каждое исследование представляет собой набор 2D-изображений — слайсов, привязанных к реальным пространственным координатам. Каждый слайс представляет собой прямоугольный параллелепипед, у которого одна сторона (толщина) намного меньше двух других. Да, несмотря на 2D-представление слайса, он визуализирует часть 3D-пространства — об этом будет подробнее рассказано далее.

Слайсы располагаются дискретно. Толщина и расстояние между центрами соседних слайсов являются важными характеристиками данных. Если толщина меньше расстояния, то между слайсами образуются зазоры. Если больше, то слайсы содержат информацию из перекрывающихся областей.

Результаты исследования могут быть распечатаны врачом на пленке с дополнительной информацией по каждому слайсу, но сегодня чаще сохраняются в файлах формата DICOM, содержащих изображения и дополнительную информацию в текстовом структурированном виде. Именно такие файлы используются в DS-задачах.

Рисунок 2. Примеры распечатанных исследований МРТ и КТ головного мозга (источники 1, 2)

Рисунок 2. Примеры распечатанных исследований МРТ и КТ головного мозга (источники 1, 2)

Компьютерная обработка исследований может осуществляться в 2D, когда используется каждый слайс как независимое от остальных изображение. А можно собрать слайсы в «стопку» и обрабатывать уже 3D-методами. Кроме того, сегодня некоторые томографы позволяют формировать сразу 3D-данные, но не для всех настроек или с определенными ограничениями.

Еще один важный общий для всех томографий термин — проекция. Это плоскость, параллельно которой располагаются слайсы:

  • Ax, Axial, Tra, Transversal — аксиальная (трансверсальная) проекция;

  • Sag, Sagittal — сагиттальная проекция;

  • Cor, Coronal, Frontal — коронарная (фронтальная) проекция.

Рисунок 3. Проекции. Пример МРТ-слайсов для органов малого таза (источники 1, 2)

Рисунок 3. Проекции. Пример МРТ-слайсов для органов малого таза (источники 1, 2)

Наряду с прямыми проекциями, встречаются и «косые» (oblique), которые располагаются под разными углами.

Часто в рамках одного исследования формируется несколько наборов различных проекций. При отсутствии одной или двух они могут быть математически сформированы из имеющихся — с погрешностями, но достаточно наглядно для визуального анализа. Пригодность таких восстановленных проекций для обучения нейронных сетей стоит оценивать в зависимости от решаемой задачи и имеющегося набора данных.

1.3. Магнитно-резонансная томография

Магнитно-резонансная томография (МРТ) — это томографический метод исследования внутренних органов и тканей с использованием физического явления ядерного магнитного резонанса (ЯМР) атомов водорода под действием магнитного поля и радиоволнового излучения.

Из-за своей специфики МРТ применяют для исследования мягких тканей, например, диагностики травм мышц, сухожилий и хрящей, обнаружения и изучения опухолей, и т.п. Для изучения костных тканей МРТ плохо подходит.

По сравнению с КТ этот метод позволяет построить более контрастные и разнообразные изображения мягких тканей и, к тому же, без лучевой нагрузки на организм. В МРТ-данных вообще закодировано гораздо больше информации, чем в КТ. Но и сложностей с обработкой таких данных больше.

Если сравнивать МРТ и ПЭТ, то первый метод позволяет анализировать структурно-морфологическое строение тканей, а второй — уровень функциональной активности клеток и физиологические процессы. ПЭТ активно используется, в том числе, в онкологии, кардиологии и неврологии для окончательной постановки диагноза при спорных диагностических ситуациях.

Но для DS-задач важна не цель проведения МРТ-исследования и причины выбора именно этого метода, а результат в виде готового набора изображений и метаинформации. В данный момент достаточно понимать, что изображения, полученные с помощью разных томографических методов, сильно и принципиально отличаются друг от друга, и использовать их совместно без тщательной предобработки и на небольшом наборе данных, мягко скажем, рискованно.

1.4. Иерархия МРТ-данных

В медицине главным объектом изучения является пациент. Для него может проводиться несколько МРТ-исследований в разное время, например, при постановке диагноза и после курса лечения. Каждое исследование включает в себя несколько наборов данных с изображениями, полученными с разными настройками томографа (серий). Каждая серия содержит одну или несколько последовательностей слайсов.

Т.е. иерархия строго вертикальная и древовидная: пациент → исследования → серии → слайсы. Горизонтальные связи могут возникать, например, при сравнении врачом разных серий одного исследования или разных исследований одного пациента при оценке динамики течения болезни или эффективности лечения. Сравнение разных пациентов в клинической (не исследовательской) практике обычно не встречается.

В DS-задачах подход к данным другой. Исследования для анализа приходят уже анонимизированными, т. е. без привязки к конкретному пациенту. Восстановить эти данные может оказаться непросто, да и не нужно. Два исследования одного пациента часто настолько же отличаются, как и для разных пациентов. Поэтому главным объектом здесь является исследование, и дерево иерархии обрезается сверху: исследование → серии → слайсы. Но при этом таких деревьев заведомо много.

При подготовке датасетов для обучения нейронных сетей выполняется балансировка данных  и устранение выбросов — аномально отличающихся и редко встречающихся изображений. Т.е. возникают сильные горизонтальные связи на разных уровнях — в зависимости от того, какие характеристики используются. Например, балансировка исследований по моделям томографов, выбор серий со схожими параметрами и т.п.

© Habrahabr.ru