Generative Adversarial Networks (GANs) have become most commonly used deep generative models that desire to learn a target data distribution. Although they are successfully applied to diverse fields, training GANs on synthetic aperture radar (SAR) data is a challenging task mostly due to speckle noise. On the other hands, in a learning perspective of human’s perception, it is natural to learn a task by using diverse information from multiple sources. However, in previous GAN works on SAR image generation, the pose angle information of the targets has not been taken into consideration for GANs. In this thesis, we propose a novel GAN-based multi-task learning (MTL) for SAR image generation with several GAN’s training techniques, called PeaceGAN that uses both pose angle and target class information, as concatenated to a noise vector of its generator’s input part and that has two additional structures with a pose estimator and an auxiliary classifier at the side of its discriminator to combine the pose and class information more efficiently. The PeaceGAN can produce SAR images with intended target classes at desired pose angles so it can be utilized for SAR data augmentation as well. In addition, the PeaceGAN is jointly learned in an end-to-end manner as MTL with pose angle and target class to make it enhanced both the diversity and the quality of generated SAR images. Lastly, we also propose two indirect evaluation methods for the quality of generated SAR images. By those methods, we can verify both the generator’s ability and the quality of generated SAR images indirectly.
적대적 생성망(GAN)은 대상 데이터 분포를 학습하는 모델 중 가장 일반적으로 사용되고 있다. GAN은 다양한 분야에 성공적으로 적용이 되고 있지만, 합성 개구 레이더 (SAR) 데이터를 적용할 때는 스페클 노이즈로 인해 어려움이 있다. 한편, 인간의 학습 관점에서는 여러 출처의 다양한 정보를 이용하여 태스크를 배우는 것이 자연스럽다. 그러나 이전의 GAN을 이용한 SAR 이미지 생성에 대한 연구에서는 대상의 포즈 각도 정보가 GAN 학습에 직접 사용된 적이 없었다. 본 연구에서는 SAR 이미지 생성을 위한 새로운 GAN 기반 멀티태스크 학습 (MTL)을 제시하며 이 네트워크를 PeaceGAN이라고 명했다. 다양한 GAN 구조 및 학습 기법을 적용하였으며, 특히 PeaceGAN의 생성 네트워크(generator)의 입력 벡터로서, 노이즈 벡터에 포즈 각도와 클래스 정보를 추가하였으며, 구별 네트워크(discriminator)는 중간 계층에서 출력되는 특징맵을 입력으로 하는 포즈 예측 네트워크와 보조 클래스 분류기와 결합되어 있어, MTL을 수행할 수 있도록 하여, SAR 클래스와 포즈 각도에 따른 SAR 영상을 쉽게 생성할 수 있는 학습 프레임워크를 고안하였다. PeaceGAN은 원하는 포즈 각도로 의도된 타겟 클래스로 SAR 이미지를 생성할 수 있으므로 SAR 데이터 증대에도 활용할 수 있고, 포즈 각도 및 타겟 클래스에 대한 MTL을 end-to-end 방식으로 동시에 수행함으로써, 생성되는 SAR 이미지의 다양성과 품질을 모두 향상시킨다. 마지막으로 본 연구에서는 SAR 이미지생성에 관한 간접적인 평가 방법을 제안한다. 이러한 방법을 통해 우리는 generator의 능력과 생성된 SAR 이미지의 품질을 간접적으로 검증할 수 있다.
