Разметка трёхмерных моделей миокарда
Здравствуйте, мы студенческая команда APIzza. Мы хотим поделиться с вами нашим опытом по разметке трёхмерных моделей из набора данных MedShapeNet, который был опубликован в 2023 году.
Так как набор данных включает в себя огромное количество трёхмерных моделей внутренних органов, кровеносных сосудов и костей, то было принято решение остановиться на разметке сердца, а точнее, миокарда.
Работа включала в себя две задачи:
Ручная разметка некоторого количества мэшей.
Обучение нейронной сети, способной размечать остальные мэши самостоятельно.
Для ручной разметки трёхмерных объектов использовалась MeshLab — программная система для обработки трёхмерных сеток и наши честные руки. В результате было размечено около 500 мэшей.
Объект в MeshLab
Ссылка на гит: GitHub — TeaWithSalt/APIzza
Далее началась работа по обучению нейронной сети:
Началось все с предобработки набора данных. Этап предобработки включал в себя несколько ключевых шагов, направленных на создание оптимального набора данных для обучения:
Преобразование в облако точек: каждый объект из набора данных был трансформирован в облако точек, предоставляя модели доступ к детализированной геометрии объектов.
Маркировка точек: каждая точка в облаке была корректно маркирована в соответствии с её цветом, обеспечивая точную разметку для обучения нейросети.
Нормализация объектов: все объекты были приведены к одному размеру, что способствовало более стабильному и эффективному обучению модели.
Облако точек
После предобработки данных был создан новый датасет с использованием библиотеки Keras (это высокоуровневая библиотека для машинного обучения, написанная на Python). Из-за особенностей работы модели PointNet к этому датасету нужно применить различные аугментации. Это сложные алгоритмы, которые требуют глубокого изучения принципов машинного обучения.
Ссылка на колаб: pointnet segmentation test.ipynb — Colaboratory (google.com)
В свете этих ограничений, мы приняли решение использовать альтернативную модель сегментации, разработанную в лаборатории суперкомпьютерных вычислений матмеха УрФУ и запущенную в 2023 году. Эта модель, работая на локальных признаках, успешней справляется с датасетом, минимизируя влияние потенциальных несовершенств в данных и обеспечивая более эффективное обучение.
