The presence of noise or artifacts in image data causes problems when utilizing images. In medical imaging, since the image quality affects the accuracy of disease diagnosis, noise or artifacts in medical images adversely affect the clinical diagnosis. In remote sensing areas, noise or artifacts in satellite imagery interfere with remote sensing applications as they degrades the quality of the scene. Therefore, image restoration, which improves the quality of images by removing noise or artifacts from image data, is an important research topic for efficient image utilization. Recently, many deep learning-based image restoration methods has been proposed and demonstrates their successful performance. Many successful deep learning-based image restoration methods are supervised learning-based methods that require structurally matched input and target image pairs. However, since structurally matched images pairs are difficult to obtain in medical imaging and satellite images, it is hard to apply the existing supervised learning-based image restoration methods in the real situation. In this study, we propose unsupervised image restoration methods from unpaired images in medical and remote sensing applications. First, we propose an unsupervised denoising method for satellite imagery using wavelet directional CycleGAN (WavCycleGAN). To overcome the shortcomings of the existing CycleGAN, such as the loss of high frequency components that can occur in a situation where the training data is insufficient, an unsupervised wavelet directional learning method is proposed. Second, we propose a wavelet subband discriminator for efficient chest X-ray image restoration. In contrast to WavCycleGAN, which requires a wavelet transform both during training and during testing, the proposed wavelet subband discriminator-based CycleGAN is an image restoration method that only requires a wavelet transform in the training process. Furthermore, our wavelet subband discriminator can be used in the switchable CycleGAN structure, which produces visually pleasing intermediate output images without producing artifacts for the task requiring reconstruction of all frequency bands. Then we propose unsupervised image restoration methods based on federated learning that can learn without direct data exchange between the server and clients in a situation where data privacy needs to be protected, such as when dealing with medical images or satellite images. In this study, we propose a federated CycleGAN which learn image translation in an unsupervised manner while maintaining the data privacy. In contrast to the existing CycleGAN, which requires that all data belong to a server, an unsupervised learning is carried out while maintaining data privacy by only sharing the weights of common models and local gradients between the server and clients. In addition, we propose a federated CUT that improves performance while significantly reducing communication costs compared to CycleGAN. We hope this study will be helpful in the field of image restoration for medical and remote sensing applications.
영상 데이터에 잡음이나 인공물이 있으면, 영상을 활용할 때 문제가 발생한다. 의료 영상의 경우 영상의 품질이 질병 진단의 정확도에 영향을 주기 때문에, 의료 영상의 잡음이나 인공물은 임상적 진단에 악영향을 끼칠 수 있다. 인공 위성 영상의 경우, 인공물이나 잡음은 장면의 품질을 저하시키기 때문에 원격 탐사 응용에 방해가 된다. 따라서 영상 데이터의 잡음이나 인공물을 제거하여 영상의 품질을 높이는 영상 복원은 효율적인 영상 활용을 위한 중요한 연구 주제이다. 최근 영상 복원을 위한 심층 학습 기반의 방법들이 많이 제안되었으며, 성공적인 성능을 보였다. 대부분의 성공적인 심층 학습 기반의 영상 복원 방법들은 구조적으로 일치하는 입력 영상과 목표 영상을 요구하는 지도학습 기반의 방법들이다. 하지만, 의료 영상이나 인공위성 영상의 경우, 이러한 페어링된 데이터를 얻기 어렵기 때문에, 실제 상황에서 기존의 지도 학습 기반의 영상 복원 방법을 적용하기 어렵다. 본 연구에서는 의료 및 원격 탐사 응용에서 페어링되지 않은 영상으로부터의 비지도 영상 복원 방법을 제안한다. 첫 번째로, 인공 위성 영상을 위한 웨이블렛 방향성 CycleGAN 기반의 비지도 영상 잡음 제거 방법을 제안한다. 훈련 데이터가 충분하지 않은 상황에서 발생할 수 있는 고주파 성분의 손실과 같은 기존의 CycleGAN의 단점을 극복하고자, 비지도 웨이블렛 방향성 학습 방법을 제안하였다. 두 번째로, 효율적인 비지도 흉부 X 선 영상 복원을 위한 웨이블렛 서브밴드 판별자 기반 복원 방법을 제안한다. 훈련과 테스트 과정 모두에서 웨이블렛 변환을 요구하는 웨이블렛 방향성 CycleGAN과는 다르게, 제안한 웨이블렛 서브밴드 판별자 기반의 CycleGAN은 웨이블렛 변환을 훈련 과정에서만 요구하는 복원 방법이다. 또한 제안한 웨이블렛 서브밴드 판별자는 전환 가능한 CycleGAN 구조에 적용될 수 있으며, 이는 모든 주파수 대역의 재구성이 필요한 작업에서 아티팩트를 생성하지 않으면서 중간 출력 영상을 생성 가능하게 한다. 이후, 의료 영상이나 인공 위성 영상을 다룰 때 처럼, 데이터의 개인정보가 보호 되어야 하는 상황에서 서버와 클라이언트간에 직접적인 데이터 공유 없이 학습할 수 있는 연합 학습 기반의 비지도 영상 복원 방법들을 제안하였다. 본 연구에서는 데이터의 개인정보를 보존하면서도 비지도 방식으로 학습할 수 있는 연합 CycleGAN을 제안하였다. 하나의 서버에서 모든 데이터를 소유해야 하는 기존의 CycleGAN는 다르게, 서버와 클라이언트 사이에 오직 공통 모델들의 가중치와 지역적 기울기만을 공유하여 데이터의 개인정보를 보존하면서 비지도 학습을 가능하게 하였다. 또한, 연합 CUT을 제안하였으며, 기존의 연합 CycleGAN에 비해 통신 비용을 상당히 줄이면서 성능을 향상시킬 수 있었다. 본 연구가 의료 및 원격탐사 응용을 위한 영상 복원 분야에서 도움이 되길 바란다.
