In this paper, we propose a multi-spectral unsupervised domain adaptation for thermal image semantic segmentation. The proposed framework aims to address the data scarcity problem and boost segmentation performance in the thermal domain with the help of existing large-scale RGB datasets and segmentation knowledge from an RGB image segmentation network. We also enhance the generalization capability of our thermal segmentation network with pixel-level domain adaptation bridging day and night thermal image domains. With our framework, a thermal image segmentation network can achieve high performance without any ground-truth labels by exploiting successive multi-spectral knowledge transfers including RGB-to-RGB, RGB-to-Thermal, and Thermal-to-Thermal adaptations. Moreover, we provide a real-world RGB-Thermal semantic segmentation dataset with 950 manually annotated Cityscapes-style ground-truth labels in 19 classes.
본 학위 논문에서는, 열영상의 의미론적 분할을 위한 멀티스펙트럴 간의 비지도 도메인 적응 프레임워크를 제안한다. 제안된 프레임워크는 현존하는 가시광 데이터셋과 가시광 영상분할 네트워크에 학습된 영상분할 지식의 도움을 받아 열영상 도메인에서의 데이터 부족 문제를 해결하고 영상분할 성능을 올리는 것을 목표로 한다.
또한, 열영상 도메인의 낮과 밤을 이어주기 위한 픽셀 레벨의 도메인 적응을 사용하여 제안된 열 영상분할 네트워크의 일반화 성능을 향상시킨다. 제안된 프레임워크에서 열 영상분할 네트워크는 정답지 없이도 가시광에서 가시광으로, 가시광에서 열영상으로, 열영상에서 열영상으로와 같은 연속적인 멀티스펙트럴 간의 지식 전이를 사용하여 높은 성능을 달성하였다. 본 학위 논문은 또한 시티스케이프 데이터셋 양식으로 구성된 950장의 새로운 가시광-열영상 의미론적 영상분할 데이터셋을 제안한다.
