As deep learning is showing unprecedented success in medical image analysis tasks, the lack of sufficient medical data is emerging as a critical problem. While recent attempts to solve the limited data problem using Generative Adversarial Networks (GAN) have been successful in generating realistic images with diversity, most of them are based on image-to-image translation and thus require extensive datasets from different domains. Here, we propose a novel model that can successfully generate 3D brain MRI data from random vectors by learning the data distribution. Our 3D GAN model solves both image blurriness and mode collapse problems by leveraging $\alpha$-GAN that combines the advantages of Variational Auto-Encoder (VAE) and GAN with an additional code discriminator network. We also use the Wasserstein GAN with Gradient Penalty (WGAN-GP) loss to lower the training instability. To demonstrate the effectiveness of our model, we generate new images of normal brain MRI and show that our model outperforms baseline models in both quantitative and qualitative measurements. We also train the model to synthesize brain disorder MRI data to demonstrate the wide applicability of our model. Our results suggest that the proposed model can successfully generate various types and modalities of 3D whole brain volumes from a small set of training data.
딥 러닝이 의료 이미지 분석 작업에서 전례없는 성공을 보여 주면서 의료 데이터의 부족이 중요한 문제로 떠오르고 있다. 최근 GAN (Generative Adversarial Networks)을 사용하여 제한된 데이터 문제를 해결하려는 시도들은 다양하면서도 사실적인 이미지를 생성하는 데 성공했지만, 대부분의 방법들은 이미지 간 변환(Image-to-Image Translation)을 기반으로 하므로 다른 도메인의 광범위한 데이터 세트가 필요하다. 이 연구에서는 데이터 분포를 학습하여 랜덤 벡터에서 3D 뇌 MRI 데이터를 성공적으로 생성 할 수 있는 새로운 모델을 제안한다. 제안된 3D GAN 모델은 VAE(Variational Auto-Encoder) 와 GAN의 장점을 추가적인 Code Discriminator 네트워크를 사용하여 결합한 $\alpha$-GAN을 활용하여 이미지 흐림 및 모드 축소(Mode Collapse) 문제를 해결한다. 또한 훈련 불안정성을 낮추기 위해 Wasserstein GAN과 Gradient Penalty (WGAN-GP) 손실을 사용한다. 모델의 효과를 입증하기 위해, 정상인 뇌 MRI에서 새로운 이미지를 생성하고 제안된 모델이 정량적 및 정성적 측정에서 기준선 모델을 능가한다는 것을 보여준다. 또한 제안된 모델이 광범위하게 적용 될 수 있는 것을 보이기 위해 질병 뇌 MRI 데이터를 합성하도록 모델을 훈련시킨다. 실험 결과는 제안 된 모델이 작은 세트의 훈련 데이터에서 다양한 유형의 3D 두뇌 볼륨을 성공적으로 생성 할 수 있다는 것을 보여준다.