Motion blur occurs when an object or a camera moves fast especially under an environment with low light. Since the motion blur degrades the visual quality of images, much research has been made to solve the motion blur problem. Among them, many conventional methods have tried to directly estimate blur kernels and solve optimization problems using the blur kernels to restore the blurred images. However, these methods often failed to perform precise motion deblur and yielded artifacts such as halo effects and blocking artifacts. Recently, the motion deblur studies have intensively been made by using convolutional neural networks without estimating blur kernels directly. These methods have shown superior performance on motion deblur than the conventional methods. In this paper, we propose an Enlarged Receptive-Field Convolution (ERC) unit that can constitute effective and elaborate convolutional neural networks for motion deblur. Our proposed ERC unit is the cascade of a convolution layer with stride 2, a following convolution layer and a sub-pixel convolution layer with residual learning from its input to output. Our deep neural networks are constituted with cascade connection of multiple ERC units and can be trained in an end-to-end manner. The ERC unit allows for effective learning for motion deblur by convolution filters with enlarged receptive fields in lower-resolution feature maps. Our intensive experiments showed that our deep convolution networks with ERC units remarkably outperformed the state-of-the-art deep neural networks trained for motion deblur with maximum 2.26 dB higher in average PSNR.
움직임 흐림의 경우 빛이 적은 환경에서 물체 나 카메라가 빠르게 움직일 때 주로 발생한다. 이러한 움직임 흐림은 영상의 화질을 떨어뜨리기 때문에 이러한 움직임 흐림 문제를 해결하기위한 많은 연구가 이루어졌다. 과거의 많은 전통적인 방법들은 움직임 흐림 커널을 직접 추정하고, 이렇게 구한 움직임 흐림 커널과 제안하는 최적화 문제를 해결하여 움직임 흐림 영상을 복원하려고 했다. 그러나 이러한 방법은 정확하게 움직임 흐림을 제거하지 못하는 것뿐만 아니라 후광 효과 및 블록킹 아티팩트와 같은 부수적인 효과를 만들었다. 이를 해결하기 위하여 최근에는 움직임 흐림 커널을 직접 추정하지 않고 컨볼루션 신경망을 이용한 움직임 흐림 제거에 대한 연구가 집중적으로 수행되었다. 이러한 방법은 기존의 방법보다 우수한 성능을 보였다. 본 논문에서는 움직임 흐림 제거를 위해 효율적이고 정교한 컨볼루션 신경 네트워크를 구성 할 수 있는 ERC (Enlarged Receptive-Field Convolution) unit을 제안한다. 제안하는 ERC unit은 스트라이드 2를 갖는 컨볼루션 레이어, 뒤 따르는 스트라이드 1을 갖는 컨볼루션 레이어, 서브픽셀 컨볼루션 레이어로 이루어져 있으며, 입력의 레지듀얼을 학습할 수 있도록 구성되어 있다. 제안하는 ERC 네트워크는 이러한 ERC unit을 여러 개의 직렬 연결로 구성되며 종단 간 방식(end-to-end)으로 훈련 된다. ERC unit은 낮은 해상도의 피처맵들에서 컨볼루션을 수행하기 때문에 확대 된 수용 영역을 이용한 것처럼 컨볼루션 필터를 이용할 수 있다. 따라서 움직임 흐림 제거에 대한 것을 기존의 방법보다 효과적으로 학습할 수 있다. 우리는 여러 실험을 통해 제안하는 ERC unit을 이용한 ERC 네트워크가 최신 논문들보다 최대 평균 PSNR이 2.26dB 뛰어난 것을 확인할 수 있었다.
