In the field of computer vision and video processing, video frame interpolation has received significant interest. Motion of objects in video could be smooth and continuous by synthesizing intermediate frame. When the motion is complex, large and non-linear, generated intermediate frame is blurred and has large artifacts. In this work, we propose a novel video frame interpolation considering the complex motion patterns. The proposed video frame interpolation takes into account an complex motion map that contains location and intensity of the complex motion. The proposed method consists of three parts, which are optical flow based frame interpolation, complex motion detection and frame refinement. The proposed video frame interpolation can be robust against the complex motion including irregular and large motion. Experimental results showed that the proposed video frame interpolation achieved high performance on various public video dataset and especially on videos with complex motion patterns.
비디오 프레임 보간은 컴퓨터 비전 및 비디오 처리 분야 내에서 큰 관심을 받아 왔다. 비디오 보간 기술을 이용하여 중간 프레임을 합성하여 비디오의 모션을 매끄럽고 연속적으로 만들 수 있다. 하지만 모션이 복잡하고 크고 비선형일 경우 생성 된 중간 프레임 내에 흐리거나 부자연스러운 부분들이 있을 수 있다. 본 연구에서는 예외적 움직임 패턴을 고려한 새로운 비디오 프레임 보간법을 제안한다. 제안 된 비디오 프레임 보간은 예외 모션 맵을 이용하여 예외 모션의 위치 및 강도를 고려한다. 제안 된 방법은 옵티컬 플로우 기반 프레임 보간 모듈, 복잡한 움직임 검출 모듈 그리고 프레임 정제 모듈로 총 세 부분으로 구성된다. 따라서 제안 된 비디오 프레임 보간 기술은 복잡하고 큰 모션을 포함한 예외적 움직임 패턴에 대해 강인하다. 실험 결과, 제안 된 기술이 다양한 비디오 테스트 세트, 특히 예외적 움직임 패턴을 포함한 테스트 비디오들에 대해 고성능을 달성했다.
