Совершенствование ортопедической визуализации: Cамообучающиеся трансформеры зрения для 3D-реконструкции магнитно-резонансная томографии коленного сустава
DOI:
https://doi.org/10.52889/1684-9280-2025-76-6-jto027Ключевые слова:
коленный сустав, магнитно-резонансная томография, трехмерная визуализация, передняя крестообразная связка, сегментация изображений, трансформеры, искусственный интеллектАннотация
Основной целью данного исследования является разработка и оценка модели самообучения на основе Vision Transformers для трехмерной реконструкции магнитно-резонансной томографии коленного сустава. Трехмерная реконструкция твердых тканей является неотъемлемой процедурой визуализации и структурного анализа костей как в клинических, так и в исследовательских целях. Традиционные подходы как Compressed Sensing основаны на ручном создании априорных данных и Iterative solvers (итерационных решателях), в то время как контролируемые сверточные нейронные сети требуют больших наборов данных с полной выборкой магнитно-резонансных изображений, получение которых является затратным. Для устранения этих ограничений в данной статье предлагается самообучаемая модель обучения на основе архитектуры Vision Transformers вместе со встроенным декодером CNN для реконструкции объемной информации из данных магнитно-резонансной томографии с недостаточной выборкой. Мы предлагаем самообучаемую модель обучения с использованием Vision Transformers для трехмерной реконструкции магнитно-резонансных изображений коленного сустава. Наш метод использует маскированное предварительное обучение на основе набора данных магнитно-резонансной томографии коленного сустава с насыщением жировой ткани протонной плотностью, после чего выполняется объемное декодирование с помощью облегченной трехмерной сверточной нейронной сети. Результаты демонстрируют конкурентоспособное качество реконструкции с оценкой Дайса 0,87, IoU 0,83 и полнотой 0,93, что свидетельствует о том, что самоконтролируемые Vision Transformers эффективно улавливают долгосрочные зависимости и объемную непрерывность. Данное исследование подчеркивает потенциал самоконтролируемых обучающих фреймворков на основе Vision Transformers для преодоления ограничений традиционных методов глубокого обучения с учителем. Предложенный метод продемонстрировал, что он может снизить зависимость от больших полностью выборочных наборов данных и поддерживать точные трехмерные реконструкции для клинических и исследовательских приложений.
Библиографические ссылки
1. Liu, T., Lu, Y., Xu, J., Yang, H., & Hu, J. (2024). 3D reconstruction of bone CT scan images based on deformable convex hull. Medical & biological engineering & computing, 62(2), 551–561. https://doi.org/10.1007/s11517-023-02951-7
2. Meng, Y., Yang, Z., Shi, Y., & Song, Z. (2025). Boosting vit-based mri reconstruction from the perspectives of frequency modulation, spatial purification, and scale diversification. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 39, No. 6, pp. 6135-6143). https://doi.org/10.1609/aaai.v39i6.32656
3. Wang, A., McDonagh, S., & Davies, M. (2025). Benchmarking Self-Supervised Learning Methods for Accelerated MRI Reconstruction. arXiv preprint arXiv:2502.14009. https://doi.org/10.48550/arXiv.2502.14009
4. Yaman, B., Hosseini, S. A. H., Moeller, S., Ellermann, J., Uğurbil, K., & Akçakaya, M. (2020). Self-supervised learning of physics-guided reconstruction neural networks without fully sampled reference data. Magnetic resonance in medicine, 84(6), 3172–3191. https://doi.org/10.1002/mrm.28378
5. Wang, S., Su, Z., Ying, L., Peng, X., Zhu, S., Liang, F., Feng, D., & Liang, D. (2016). Accelerating magnetic resonance imaging via deep learning. Proceedings. IEEE International Symposium on Biomedical Imaging, 2016, 514–517. https://doi.org/10.1109/ISBI.2016.7493320
6. Huang, P., Li, H., Liu, R., Zhang, X., Li, X., Liang, D., & Ying, L. (2023). Accelerating MRI Using Vision Transformer with Unpaired Unsupervised Training. Proceedings of the International Society for Magnetic Resonance in Medicine ... Scientific Meeting and Exhibition. International Society for Magnetic Resonance in Medicine. Scientific Meeting and Exhibition, 31, 2933.
7. Sriram, A., Zbontar, J., Murrell, T., Defazio, A., Zitnick, C. L., Yakubova, N., ... & Johnson, P. (2020). End-to-end variational networks for accelerated MRI reconstruction. In International conference on medical image computing and computer-assisted intervention (pp. 64-73). Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-59713-9_7
8. Zhang, C., Chen, S., Cigdem, O., Rajamohan, H. R., Cho, K., Kijowski, R., & Deniz, C. M. (2025). MR-Transformer: A Vision Transformer-based Deep Learning Model for Total Knee Replacement Prediction Using MRI. Radiology. Artificial intelligence, 7(5), e240373. https://doi.org/10.1148/ryai.240373
9. Lin, K., & Heckel, R. (2022). Vision transformers enable fast and robust accelerated MRI. In International Conference on medical imaging with deep learning (pp. 774-795). PMLR.
10. Guo, P., Mei, Y., Zhou, J., Jiang, S., & Patel, V. M. (2023). Reconformer: Accelerated mri reconstruction using recurrent transformer. IEEE transactions on medical imaging, 43(1), 582-593. https://doi.org/10.1109/TMI.2023.3314747
Загрузки
Опубликован
Выпуск
Раздел
Лицензия
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
