The demand for high resolution satellite image has been increasing quickly in recent days, and there are needs to update hardware and software performance. There are a lot of SR methods for natural images and videos, but not many methods for Remote sensed images. To make satellite image resolution be good quality, the methods can be mainly divided into two categories: Satellite image SR and PAN colorization. While the Satellite image SR methods produce a single high resolution (HR) color output image from the corresponding single low resolution (LR) input image, PAN colorization methods produce high resolution color image from LR multispectral image (MS) and HR gray Panchromatic image (PAN). Because of the HR PAN, PAN colorization methods have much better performance than Satellite image SR. However PAN colorization methods should consider the misalignment between PAN and MS. Since the misalignment, we propose the novel methods with locally adaptive End-to-End learning network. The network takes different loss functions selectively for efficient learning. Our proposed methods do not need any preprocessing for PAN colorization.
고해상도 위성 영상에 대한 수요가 급속하게 증가하고 있으며 이를 뒷받침할 하드웨어적인 기술뿐 만 아니라 소프트웨어 솔루션의 요구가 증대되고 있다. 일반 영상에 대한 초해상화 기술은 일반적으로 많은 연구가 진행되어 왔지만, 위성 영상에 대해서는 비교적 연구가 활발하지 못 하였다. 위성 영상의 화질 개선 연구는 위성 영상 초해상화와 위성 영상 융합기법으로 나뉘는데, 위성 영상 초해상화는 단일 저해상도 컬러 위성 영상에서 단일 고해상도 컬러 위성 영상을 생성하는 반면에, 위성 영상 융합은 저해상도 컬러 위성 영상과 고해상도 흑백 위성 영상을 융합하여 고해상도 컬러 영상을 생성하기 때문에 위성 영상 융합 기법이 더 좋은 화질 개선 성능을 보이고 있다. 위성 영상 융합을 할 때에는 흑백 위성 영상과 컬러 위성 영상간의 정렬이 어긋나 있기 때문에 이를 고려하여 두 영상 간의 정합 과정을 해야한다는 단점이 있다. 따라서 본 연구의 위성 영상 융합 콘볼루션 신경망 기반 전정색 영상 컬러화 네트워크는 영상에서 선택적으로 손실함수를 적용하여 네트워크가 어긋난 정렬에 대해서, 그리고 정렬이 어긋나 있지 않은 부분에 대해서 영역별로 효과적으로 엔드-투-엔드 학습을 수행 한다. 실제로 제안하는 방법은 어떠한 전처리(Preprocessing)도 필요없이 고해상도 컬러 위성 영상을 얻어낼 수 있는 편리한 구조를 제시한다.
