Satellite synthetic aperture radar (SAR) images are immensely valuable because they can be obtained regardless of weather and time conditions. However, SAR images have fatal noise and less contextual information, thus making them harder and less interpretable. Thus, translation of SAR to electro-optical (EO) images is highly required for easier interpretation. In this article, we propose a novel coarse-to-fine context-aware SAR-to-EO translation (CFCA-SET) framework and a misalignment-resistant (MR) loss for the misaligned pairs of SAR-EO images. With our auxiliary learning of SAR-to-near-infrared translation, CFCA-SET consists of a two-stage training: 1) the low-resolution SAR-to-EO translation is learned in the coarse stage via a local self-attention module that helps diminish the SAR noise and 2) the resulting output is used as guidance in the fine stage to generate the SAR colorization of high resolution. Our proposed auxiliary learning of SAR-to-NIR translation can successfully lead CFCA-SET to learn distinguishable characteristics of various SAR objects with less confusion in a context-aware manner. To handle the inevitable misalignment problem between SAR and EO images, we newly designed an MR loss function. We also use a pre-trained segmentation network to provide the segmentation regions with their labels into learning the SET. Our ECFCA-SET can be trained to effectively learn the translation for the regions of confusing contexts by utilizing the segmentation and ㅣlocally adaptive confidence mask loss function. Furthermore, due to the difficulty of SAR-EO pair image dataset collection, we propose a novel SAR-EO data augmentation strategy via diffusion process. Extensive experimental results show that our CFCA-SET can generate more recognizable and understandable EO-like images compared to other methods in terms of nine image quality metrics.
위성 합성 개구 레이더 (Synthetic aperture radar, SAR) 이미지는 날씨와 시간 조건에 상관없이 얻을 수 있기 때문에 군사, 감시 정찰 등의 활용 분야에 있어서 활용도가 매우 높다. 그러나 SAR 이미지에는 매우 다양한 신호적 잡음과 모호한 의미적 특성이 있어 해석하기가 어려우며 이해가 쉽지 않다. 따라서 보다 영상의 이해 및 분석이 용이한 광학 (Electro-Optical, EO) 영상으로 변환하는 연구가 필요하고 많은 방면으로 진행되어왔다. 본 학위논문에서는 효과적으로 SAR 영상을 광학영상으로의 변환할 수 있는 연구 방법, Coarse-to-Fine SAR-to-EO translation (CFCA-SET)을 제안한다. 본 제안 CFCA-SET은 SAR 영상을 광학영상으로의 변환 네트워크를 학습시에 SAR-광학 영상 쌍에 대하여 부분적으로 정렬이 어긋난 문제를 처음으로 지적하고 이를 효과적으로 다룰 수 있는 misalignment-resistant 손실 함수를 제안한다. 또한, 빠른 구동 시간 및 적은 소요 GPU 메모리를 최소화하기 위하여 저해상도에서 고해상도로의 (Coarse-to-Fine) SAR-to-EO translation 프레임워크를 제안한다. 뿐만아니라, SAR에서 단순히 컬러 광학영상(RGB)만을 생성하는 것에 그치지않고 추가적으로 근적외선 (Near Infra-Red) 영상으로의 변환 부가 학습으로, 본 제안 CFCA-SET 프레임워크는 두 단계 교육으로 구성된다: 1) 저해상도 SAR-EO translation 무듈은 SAR 신호적 잡음을 줄이는 데 도움이 되는 지역적 자기 집중 모듈을 통해 저해상도 변환 단계에서 학습되며 2) 최종 출력 결과 영상은 고해상도의 컬러 EO 영상으로 고해상도 광학 영상 생성모듈로 변환된다. 이에 더하여 군사적, 감시 정찰 목적으로 활용되는 본 연구의 특성에 따라 거짓 객체를 생성하는 것을 방지하기 위하여 라벨링 데이터를 활용하여 세그멘테이션 손실 함수를 부가적으로 활용하여 거짓 객체 생성을 효과적으로 방지한다. 마지막으로는, 위성 SAR-EO 영상쌍을 구축하는 것은 매우 큰 비용이 들며 많은 시간이 소요된다는 문제가 있었다. 이러한 문제를 효과적으로 해결하기 위하여 확산 모델을 활용하여 데이터 증진 효과를 입증하였다. 다양한 성능 비교 실험을 통하여, 본 제안 방법 MR 손실함수, 세그멘테이션 손실함수, 부가적 학습 손실 함수 (부분적 적응적 학습 손실 함수), 그리고 확산 모델 기반 데이터 증진 기법을 활용하여 제안 CFCA-SET 모델이 다른 방법들과 비교하여 정성적, 정량적으로 우수함을 보였다.
