All modalities of multi-modal Magnetic Resonance Imaging (MRI) play crucial roles in diagnosing brain tumors. However, the missing or incompleteness of modalities poses challenges in brain tumor segmentation. Existing models have failed to achieve robust performance across all missing-modality scenarios. To address this issue, this paper proposes two main ideas. Firstly, we suggest a novel 4encoder-4decoder architecture that effectively combines “dedicated” and “single” models. Our model includes multiple Scenario-specific Fusion (SsF) decoders that construct different feature maps depending on the missing modality scenarios. Secondly, we newly define the self-supervised learning-based loss function called Couple Regularization (CReg) to train our model and achieve robust learning. The experimental results on BraTS2018 demonstrate that RobustSsF has successfully improved robustness by reducing standard deviations from 12 times to 76 times lower, also achieving state-of-the-art results in all scenarios when the T1ce modality is missing.
다중모달 자기공명영상 (MRI) 에서 모든 모달리티는 뇌종양의 진단에 중요한 역할을 하지만, 모달리티의 누락 혹은 불완전함은 뇌종양 분할에 어려움을 야기합니다. 누락-모달리티 뇌종양 분할 분야의 기존 모델들에는 누락-모달리티 시나리오에 따라 성능이 심각하게 차이가 나는 견고성 문제가 있습니다. 이 문제를 해결하기 위해 본 논문에서는 두 가지를 제안합니다. “전용” 및 “단일” 모델을 효과적으로 조합 혁신적인 4인코더-4디코더 구조를 제안합니다. 이 모델에는 누락-모달리티 시나리오에 따라 다른 피쳐 맵을 뽑아내는 여러 개의 시나리오별 퓨전 (SsF) 디코더가 포함되어 있습니다. 두 번째로, 모델을 훈련하기 위해 우리는 커플 정규화 (CReg) 라는 자기지도 학습 기반 손실 함수를 새롭게 정의하고 견고한 학습을 달성합니다. BraTS2018에서의 실험 결과는 RobustSsF가 Tce 모달리티가 누락된 모든 누락-모달리티 시나리오에서 12배에서 76배 낮아진 표준 편차를 통해 견고성을 성공적으로 개선하고 최첨단 결과를 달성함을 보여줍니다.
