Many motion-compensated frame interpolation (MCFI) methods use block matching algorithms (BMAs) for motion estimation (ME). However, the conventional BMAs that are originally developed by focusing on minimizing the prediction errors often fail to detect and project the object motion. In this paper, we present a new MCFI method that utilizes two convolutional neural networks (CNNs) to find the motion vector (MV) with greater reliability and to refine artifacts that are due to the incorrectly estimated MVs in the interpolated frame. The CNN model which is used to estimate MVs is trained to track the projected object motion as closely as possible. Furthermore, we also employ another CNN model to detect artifacts in the interpolated frame. As we apply a motion vector refinement (MVR) scheme only to the region that is needed to be refined, our proposed MVR method can refine the interpolated frame without producing ghost artifacts on the motion boundaries. Experimental results using the standard test video sequences show that our proposed ME method acquired MVs with greater reliability than conventional ME methods. Furthermore, our proposed MCFI method improves the average peak signal-to-noise ratio (PSNR) of interpolated frames.
많은 움직임보상 프레임 보간 기법들은 움직임 추정을 위해 블록 정합 알고리즘을 사용한다. 하지만 본래 예측 에러를 최소화하기 위해 고안된 기존의 블록 정합 알고리즘들은 종종 물체의 움직임을 추정하는 데 실패하곤 한다. 본 학위논문에서는 두 개의 콘볼루셔널 뉴럴 네트워크를 사용한 새로운 움직임보상 프레임 보간 기법을 제안한다. 움직임 추정에 쓰이는 네트워크는 최대한 물체의 움직임을 추적할 수 있도록 학습되어 사용된다. 또 다른 네트워크는 보간된 프레임에서의 왜곡을 검출해내도록 학습되어 움직임 벡터 보정 기법에 사용된다. 네트워크를 통해 검출된 왜곡에만 움직임 벡터 보정 기법을 적용하는 전략을 사용함으로써 물체 경계 부근에 유령허상을 만들지 않으면서 보간된 프레임을 효과적으로 수정할 수 있다. 테스트 비디오 영상들을 이용하여 실험한 결과를 통해 제안하는 움직임 추정 기법이 다른 움직임 추정 기법들보다 신뢰도 높은 움직임 벡터들을 찾아내는 것을 확인할 수 있다. 또한 제안하는 움직임보상 프레임 보간 기법은 보간 프레임의 최대 신호 대 잡음비를 향상시킨다.
