Deep learning-based semantic segmentation methods have an intrinsic limitation that training a model requires a large amount of data with pixel-level annotations. To address this challenging issue, many researchers give attention to unsupervised domain adaptation for semantic segmentation. Unsupervised domain adaptation seeks to adapt the model trained on the source domain to the target domain. In this paper, we introduce a self-ensembling technique, one of the successful methods for domain adaptation in classification. However, applying self-ensembling to semantic segmentation is very difficult because heavily-tuned manual data augmentation used in self-ensembling is not useful to reduce the large domain gap in the semantic segmentation. To overcome this limitation, we propose a novel framework consisting of two components, which are complementary to each other. First, we present a data augmentation method based on Generative Adversarial Networks (GANs), which is computationally efficient and effective to facilitate domain alignment. Given those augmented images, we apply self-ensembling to enhance the performance of the segmentation network on the target domain. The proposed method outperforms state-of-the-art semantic segmentation methods on unsupervised domain adaptation benchmarks.
최근 들어 딥러닝 기반의 의미론적 영상 분할기들은 뛰어난 성능을 보여주고 있다. 하지만 영상 분할기들을 학습시키기 위해 대량의 영상과 픽셀 수준의 레이블을 필요로 한다는 근본적인 문제점이 있다. 이러한 문제를 해결하기 위해 많은 연구자들은 의미론적 영상 분할기의 비지도 도메인 적응 기법을 연구하였다. 비지도 도메인 적응 기법은 네트워크를 레이블이 풍부한 도메인 (소스 도메인)에서 학습시켜 레이블이 적은 도메인 (타겟 도메인) 에서도 잘 작동하는 것을 목표로 한다. 이 논문에서는 분류 알고리즘에서 성공적이었던 자가 모델 결합 기법을 의미론적 영상 분할에 적용하였다. 그러나 자가 모델 결합 기법은 의미론적 영상 분할에 잘 적용되지 않는데 이는 과도하게 조정된 수동 데이터 증대가 도메인 차이를 줄이는데 효과적이지 않기 때문이다. 이 한계를 극복하기 위해 본 논문에서는 GAN 기반의 데이터 증대법과 자가 모델 결합 기법을 제안한다. 제안하는 데이터 증대법은 계산상 효율적이며 도메인 일치에 효과적이다. 또한 두 요소는 상호 보완적이며 의미론적 영상 분할기의 성공적인 비지도 도메인 적응을 수행할 수 있음을 보였다.
