Segmentation of ultrasound uterus image is a challenging task due to ambiguous boundaries and heterogeneous texture in ultrasound images. In this paper, we propose new segmentation networks with shape and keypoint based adversarial learning scheme which are specialized for ultrasound uterus and endometrium image segmentation. The proposed adversarial learning scheme comes with a uterus shape discriminator and an endometrium keypoint discriminator. The uterus shape discriminator allows the segmentation network to become more robust to the ambiguous boundaries of ultrasound image by considering the shape of uterus. The endometrium keypoint discriminator determines whether the predicted endometrium regions coincide with the ground-truth endometrium keypoints which define the width and length of the endometrium. Namely, the shape discriminator is used for the shape evaluation of the segmented regions, while the keypoint discriminator is used for the evaluation of segmented shape congruency with the ground-truth keypoints. Our results on ultrasound uterus image dataset demonstrate that the proposed segmentation networks with shape and keypoint based adversarial learning scheme outperforms the conventional segmentation networks.
초음파 자궁 이미지의 분할은 초음파 영상의 모호한 경계와 불균질한 텍스처로 인해 어려운 작업이다. 본 논문에서는 초음파 영상의 자궁과 자궁내막 분할에 특화된 모양과 키포인트 기반의 적대적 학습 방법을 이용한 새로운 분할 네트워크를 제안한다. 제안된 적대적인 학습 체계에는 자궁 모양 판별자(uterus shape discriminator)와 자궁내막 키포인트 판별자(endometrium keypoint discriminator)가 있다. 자궁 모양 판별자는 자궁의 모양을 고려하여 분할 네트워크가 초음파 이미지의 모호한 경계에 보다 강인해질 수 있게 한다. 자궁 내막 키포인트 판별자는 예측 된 자궁내막 영역이 자궁 내막의 길이와 두께를 나타내는 키포인트와 일치하는지 여부를 결정한다. 즉, 자궁 모양 판별자는 분할 영역의 모양에 대한 평가에 사용되는 반면, 키포인트 판별자는 분할 영역이 실제 키포인트와 얼마나 일관되게 일치하는지 평가하는 데에 사용된다. 초음파 자궁 영상 데이터에 대한 실험결과는 제안된 모양과 키포인트 기반의 적대적인 학습방법을 사용한 네트워크가 기존의 분할 네트워크를 성능상 능가한다는 것을 증명한다.
