Burst image super-resolution is an ill-posed problem that aims to restore a high-resolution (HR) image from a sequence of low-resolution (LR) burst images. To restore a photo-realistic HR image using their abundant information, it is essential to align each burst of frames containing random hand-held motion. Some kernel prediction networks (KPNs) that are operated without external motion compensation such as optical flow estimation have been applied to burst image processing as implicit image alignment modules. However, the existing methods do not consider the interdependencies among the kernels of different sizes that have a significant effect on each pixel. In this paper, we propose a novel weighted multi-kernel prediction network (WMKPN) that can learn the discriminative features on each pixel for burst image super-resolution. Our experimental results demonstrate that WMKPN improves the visual quality of super-resolved images. To the best of our knowledge, it outperforms the state-of-the-art within kernel prediction methods and multiple frame super-resolution (MFSR) on both the Zurich RAW to RGB and BurstSR datasets.
버스트 이미지 초해상도는 일련의 저해상도 버스트 이미지로 부터 고해상도 이미지를 복원하는 것을 목표로 하는 역 불가해 문제이다. 풍부한 정보를 사용하여 사실적인 고해상도 이미지를 복원하기 위해서는 임의의 손동작이 포함된 프레임의 각 버스트를 정렬하는 것이 중요하다. 광학 흐름 추정과 같은 외부 움직임 보상 없이 작동하는 일부 커널 예측 네트워크(KPN)는 암시적 이미지 정렬 모듈로 버스트 이미지 처리에 적용되어왔다. 그러나 기존 방법은 각 픽셀에 큰 영향을 미치는 크기가 다른 커널 간의 상호 의존성을 고려하지 않는다. 본 논문에서는 버스트 이미지 초해상도를 위해 각 픽셀의 판별적인 특징을 학습할 수 있는 새로운 가중 다중 커널 예측 네트워크를 제안한다. 우리의 실험 결과는 우리의 모델이 초해상도 이미지의 시각적 품질을 향상시킨다는 것을 보여준다. 우리가 아는 한, 취리히 데이터 세트를 포함한 다양한 데이터 세트에 대해, 여러 커널 예측 방법과 다중 프레임 초해상도 방법 내에서 최첨단 성능을 능가한다.
