In the industry, to apply image restoration technology that converts low-quality images into high-quality ones, it is necessary to restore images with complex and mixed degradation. However, existing deep learning-based methods have been focused on restoring images with a single type of degradation. In particular, Transformer-based methods for image restoration of single degradation are effective but require a new approach for images with mixed degradation. In this thesis, we propose a model using Transformer-based two-stage U-Nets for image restoration of mixed degradation that is suitable for the real world. The proposed two-stage U-Net Transformer (TUT) effectively restores images with mixed degradation by dividing a complex problem into gray-scale image restoration and color-scale image restoration, thereby outperforming existing Transformer-based image restoration models. In particular, we designed spatial-wise Transformer-based U-Net for gray-scale image restoration and channel-wise Transformer-based U-Net for color-scale image restoration. This approach effectively performed image restoration of mixed degradation. Moreover, to address shortcomings of existing Transformer-based models and maximize performance, we introduced spatial-wise and channel-wise modulators. Additionally, various loss functions were used to optimize image restoration of mixed degradation. Lastly, we proposed synthetic data pre-processing techniques capable of representing both spatial and color degradation. This approach enabled more detailed representations of real-world degradation compared to an existing synthetic degradation dataset. Experimental results showed that the proposed TUT outperformed existing Transformer-based image restoration models on various evaluation datasets.
낮은 품질의 영상을 높은 품질의 영상으로 변환하는 영상 복원 기술을 산업에 적용하기 위해서는 복잡하고 혼합된 열화 영상 복원이 가능해야 한다. 그러나 기존의 딥러닝 기반의 방법들은 단일 열화 영상 복원에 초점을 맞추어서 연구되어 왔다. 특히, 트랜스포머 기반의 단일 열화 영상 복원 방법은 효과적이지만 혼합 열화 영상에 대해서는 새로운 연구가 필요하다. 본 연구에서는 현실 세계에 적합한 혼합 열화 영상 복원을 위하여 트랜스포머 기반의 2단계 U-Net을 이용한 모델을 제안한다. 제안한 2단계 U-Net 트랜스포머(TUT)는 복잡한 혼합 열화 영상 복원 문제를 흑백 영상 복원과 색 영상 복원으로 분할함으로써 기존의 트랜스포머 기반 영상 복원 모델들보다 효과적으로 복원하였다. 특히, 흑백 영상 복원을 위한 공간 방향의 트랜스포머 기반 U-Net과 색 영상 복원을 위한 채널 방향의 트랜스포머 기반 U-Net을 설계함으로써 효과적인 혼합 열화 영상 복원을 수행하게 하였다. 그리고 기존 트랜스포머 기반의 모델이 가지고 있는 단점을 보완하고 성능을 극대화하기 위하여 공간 방향의 조절자와 채널 방향의 조절자를 도입하였다. 또한, 다양한 손실함수를 사용하여 혼합 열화 영상 복원을 최적화하였다. 마지막으로, 공간 및 색 열화를 모두 표현할 수 있는 합성 데이터 전처리 기법을 제안하여 기존의 합성 열화 데이터셋에 비해서 현실 세계의 열화를 세밀하게 표현하였다. 실험 결과, 제안한 TUT는 다양한 평가 데이터셋에 대하여 기존의 트랜스포머 기반 영상 복원 모델들에 비해서 우수한 성능을 보였다.
