Burst super-resolution (Burst SR) has achieved significant performance improvements by utilizing burst images obtained from modern handheld devices. However, there are still several challenges related to Burst SR. Firstly, misalignment between burst images is caused by hand tremors. Secondly, aligned features should be effectively combined and up-sampled to harness the rich information of the burst images. Numerous recent studies have focused on performance enhancement by suggesting complex networks using a pre-trained optical flow network or transformer to address these problems. However, computational complexity is an essential consideration for limited-resource environments. In this paper, we present an Efficient Burst super-resolution Network (EBNet) with effective feature processing and group up-sampling strategies. For feature processing, we introduce novel denoising and refinement module to efficiently perform the alignment with deformable convolution instead of a pre-trained network. Furthermore, we propose the enhanced group up-sampling module to successfully merge burst features without loss of salient details. With these two strategies, our proposed EBNet remarkably alleviates the trade-off between performance and computational cost compared to the existing state-of-the-art.
버스트 초해상화는 현대의 휴대형 기기에서 얻은 버스트 이미지를 활용하여 상당한 성능 향상을 달성했다. 하지만 여전히 버스트 초해상화는 몇 가지 어려움을 가진다. 첫번째는 손떨림으로 인해 버스트 이미지 간의 오정렬이 발생한다는 점이며, 두번째는 버스트 이미지의 풍부한 정보를 활용하여 정렬된 특징들을 효과적으로 결합하고 업 샘플링해야 한다. 최근 많은 연구에서 이러한 문제를 해결하기 위해 미리 훈련된 광학 흐름 추정 네트워크 또는 트랜스포머를 활용한 복잡한 네트워크를 제안하며 성능 향상에 중점을 두고 있다. 그러나 제한된 리소스 환경에서는 계산 복잡성이 필수 고려 사항이다. 본 논문에서는 효과적인 특징 처리와 그룹 업 샘플링을 활용한 효율적인 버스트 초해상화 네트워크를 제안한다. 특징 처리를 위해 사전 훈련된 네트워크 대신 변형 가능한 컨볼루션을 활용하고, 정렬을 효율적으로 수행하기 위해서 새로운 노이즈 제거 및 개선 모듈을 제안한다. 또한, 세부 정보의 손실 없이 버스트 특징을 성공적으로 융합하기 위해 강화된 그룹 업 샘플링 모듈을 제안한다. 이 두 가지 전략을 통해 우리가 제안한 네트워크는 기존의 여러 버스트 초해상화 방법에 비해 성능과 계산 비용 간의 균형을 현저히 완화한다.
