Semantic segmentation for real-world road images plays a vital role in autonomous driving. Conventional semantic segmentation methods need pixel-wise labels for supervised learning. However, pixel-wise labeling requires a high cost of labor and time. Thus, there have been many studies about Unsupervised Domain Adaptation (UDA) methods that do not require any annotations for the real-world datasets using synthetic datasets, which are comparably easy when labeling. In the existing UDA methods, it is assumed that all data are introduced simultaneously. However, usually, the data are introduced sequentially in the real-world. Therefore, the networks forget the knowledge of past data when target domains are sequentially changing, i.e., catastrophic forgetting. In this paper, a \textit{Continual Unsupervised Domain Adaptation with Adversarial Learning} (CUDA$^2$) framework that alleviates catastrophic forgetting is proposed. Such forgetting is alleviated in the proposed framework by generating \textit{Target-specific Memory} (TM) for each target domain. Moreover, a proposed \textit{Double Hinge Adversarial} (DHA) loss leads the network to produce better semantic segmentation performance. The CUDA$^2$ framework can generally be applicable to existing UDA methods using adversarial learning. The model with the proposed framework outperforms other state-of-the-art models in continual learning settings.
자율 주행 분야에서 자동차가 마주하는 도로 이미지에 대해 물체별로 구분하여 인식하는 의미적 분할(semantic segmentation)은 중요한 역할을 한다. 전통적 의미적 분할 기법에서는 이미지의 픽셀별로 라벨이 주어지는 지도 학습을 필요로 한다. 그러나 실제 도로 이미지에 대해 픽셀별로 라벨링하는 것은 많은 노동력과 시간을 요구한다. 이에 따라, 비교적 라벨링이 수월한 시뮬레이션 데이터를 이용하여 라벨이 없는 실제 도로 데이터에의 비지도 도메인 적응(UDA; Unsupervised Domain Adaptation)에 대한 연구가 활발히 진행되어 왔다. 기존 비지도 도메인 적응 기법들은 실제 데이터들이 한 번에 모두 소개된다고 가정한다. 하지만 실제 세계에서는 시간 순서에 따라 연속적으로 실제 데이터들을 마주하게 된다. 따라서 기존 기법들을 이러한 실제적인 상황에 이용하게 되면, 이전에 학습한 데이터들에 대한 지식을 잊는 치명적 망각(catastrophic forgetting) 현상이 일어나게 된다. 본 논문에서는 기존 비지도 도메인 적응에서 나타나는 치명적 망각 현상을 보완하는 최초의 기법인 경쟁 학습을 통한 연속적 비지도 도메인 적응(CUDA$^2$: Continual Unsupervised Domain Adaptation with Adversarial Learning) 프레임워크를 제안한다. 제안된 프레임워크에서는 목표 도메인별로 목표 특정 메모리(TM; Target-specific Memory)를 생성하여 의미적 분할 네트워크의 치명적 망각을 완화한다. 또한, 더블 힌지 경쟁 비용 함수(DHA loss; Double Hinge Adversarial loss)를 제안하여 의미적 분할 자체의 성능 또한 향상시킨다. 본 프레임워크는 경쟁 학습을 통해 비지도 도메인 적응을 하는 모든 기법들에 보편적으로 적용이 가능하다. 연속적으로 데이터가 소개되는 환경에서 CUDA$^2$ 프레임워크가 적용된 모델은 다른 최신 모델들을 성능 면에서 압도한다.
