This paper proposes a new motion-compensated frame interpolation (MCFI) method. The proposed method utilizes a symmetric motion estimation method, which is a new pixel-wise motion estimation method for MCFI. The proposed MCFI method estimates initial motion vectors (MVs) between successive frames by using the sum of absolute difference and image segmentation technique. Then, it regularizes the MVs by using a variance-distortion curve, which is a new metric for MV regularization. After refining MVs by using symmetric motion estimation method, the proposed method generates an intermediate frame between the successive frames. For occlusion areas, an adaptive frame interpolation is performed, which uses either the previous or current frames. The experimental results show that the proposed method outperforms other MCFI methods in terms of generating objectively and subjectively better interpolated frames.
본 논문은 영상의 연속된 두 프레임 사이에 중간 프레임을 생성하는 MCFI (motion-compensated frame interpolation) 기술을 위한 새로운 대칭적 움직임 추정 방법을 제안한다. 제안하는 대칭적 움직임 추정 방법은 모든 픽셀에 동일한 움직임을 적용해 보간 된 단일 움직임 보간 프레임들을 생성한 뒤, 단일 움직임 보간 프레임에서 나타나는 실제 움직임의 대칭성에 기반하여 각 픽셀에 대한 움직임 벡터를 추정한다.
또한, 본 논문에서는 제안하는 대칭적 움직임 추정 방법을 사용하여 중간 영상을 생성해내는 MCFI기법을 제안한다. 제안하는 MCFI 방법은 영상 분할 기법을 사용하여 현재프레임을 임의의 형태를 가진 여러 영역으로 나누고 각 영역에 대해서 가장 비슷한 영역을 이전 프레임에서 찾음으로써 움직임 벡터를 추정한다. 이어서, 제안하는 방법은 움직임 벡터의 분산을 줄이는 정규화 과정을 수행함으로써 잘못 추정된 움직임 벡터를 수정한다. 움직임 벡터의 정규화는 인접한 두 영역을 하나의 영역으로 합치고 새로운 움직임 벡터를 추정하는 과정을 반복함으로써 이루어진다. 최적의 정규화를 위해서, 제안하는 방법은 분산-왜곡 곡선을 활용하여 하나로 합쳐질 영역을 선택하게 된다. 이어서, 제안하는 방법은 대칭적 움직임 추정 방법을 사용하여 정규화된 움직임 벡터의 정확도를 높이는 과정을 수행한다. 최종적으로, 할당된 움직임 벡터에 대응되는 이전 및 현재 프레임의 픽셀들을 사용하여 중간 프레임을 생성하게 된다.
실험 결과 제안하는 MCFI 방법은 블록 기반의 움직임 추정 방법을 사용하는 기존의 MCFI 방법 보다 정확하고 정교한 움직임 추정을 함으로서 보다 성공적으로 프레임을 보간 하는 것을 확인하였다. 특히, 반복되는 패턴과 가림 영역이 많은 영상에 대해서 기존의 방법보다 월등히 높은 성능을 보이는 것을 확인할 수 있었다.
