Video Frame Interpolation (VFI) temporally interpolates one or more intermediate frames between every two consecutive frames with temporal coherence so that smoothly rendered fast motion is more visually pleasing. However, VFI is a long-standing and challenging task in computer vision, which is attributed to several factors such as non-linear motion, deformable object motion, large motions and motion blur in the video sequences. In this dissertation, we focus on the challenging issue of fast motions with extremely large pixel displacements which often occur in ultra-high-definition (UHD) video sequences and thus result in severe motion judder. To study VFI with large motion, we present an extreme VFI network, called XVFI-Net, that first handles the VFI for 4K videos with large motion. Even after training of the XVFI-Net, input frames can be flexibly down-scaled into any smaller size to cope with the spatial resolution and the degree of motion magnitudes of input frames during inference time, unlike the previous pyramid structures of a fixed number of scale levels. The recursive multi-scale shared structure of XVFI-Net allows for the large motion to be effectively captured in flexibly small-scale levels. In order to interpolate middle frames at any intermediate time instances, the bilateral optical flows are stably approximated by a novel complementary flow reversal (CFR) technique using the bidirectional motion. We also propose a coarse-direction-and-fine-attention (CDFA) module to extend the XVFI-Net, where multi-hypothesis flow vectors are utilized to deal with complex motion boundaries of fast-moving objects. The coarse direction vector is supervised by a self-guided training scheme. Then the fine attention vectors attend to the local details based on the coarse direction vector in a residual learning manner. Extensive experimental results show that our algorithms can successfully capture the essential information of objects with extremely large motions and complex textures while state-of-the-art methods exhibit poor performance. Furthermore, our XVFI-Net framework also performs comparably on the previous lower resolution benchmark dataset, which shows the robustness of our algorithm as well.
비디오 프레임 보간은 연속된 두 프레임 사이에 시간적으로 일관성을 가지는 중간 프레임들을 보간하여 영상 내의 빠른 움직임이 부드럽게 렌더링될 수 있게 한다. 프레임 보간은 오랜기간 연구되어 왔지만 비선형 움직임, 비정형 물체의 움직임, 큰 움직임, 모션 블러 등으로 인해 도전적인 문제이다. 본 논문에서는 초고화질 비디오에서 자주 발생하며 모션 저더를 심하게 일으키는 매우 큰 픽셀 변위를 가진 빠른 움직임이 있는 경우의 프레임 보간법에 집중한다. 이를 위하여 매우 큰 움직임을 가지는 4K 입력 비디오에 대한 프레임 보간 방법인 XVFI-Net을 제안한다. XVFI-Net은 학습 이후의 테스트 시에도 영상 해상도나 모션의 크기에 대응하기 위해서 유연하게 입력 영상을 다운스케일링 할 수 있으며, 이는 기존의 고정된 스케일 레벨 수를 갖는 피라미드 구조를 갖는 방법들과는 다른 부분이다. 매개 변수를 공유하는 XVFI-Net은 큰 모션이 작은 스케일 레벨들에서 효과적으로 잘 예측될 수 있도록 유연적인 재귀적 다중 스케일 구조를 갖는다. 임의의 중간 시점에서의 프레임 보간을 위해 사용되는 목표 프레임으로부터 입력 프레임으로의 광학흐름은 양방향 모션을 활용한 상호보완적 광학 흐름 전환 방법(CFR)을 사용하여 안정적으로 근사된다. 또한, XVFI-Net을 개선하기 위하여 빠르게 움직이는 물체의 경계 부분의 복잡한 모션을 잘 다루도록 다중 가설 모션 벡터를 이용하는 광역 방향 정밀 어텐션(CDFA) 모듈을 제안한다. 광역 방향 벡터는 자기유도 방식으로 학습되며, 정밀 어텐션 벡터는 광역 방향 벡터를 기반으로 세밀한 부분을 담당하기 위해 잔차 구조를 가진다. 다양한 실험결과는 제안하는 알고리즘이 매우 큰 움직임과 복잡한 텍스쳐를 갖는 입력 영상에 대해 성공적으로 프레임 보간을 하며, 기존의 최신 기법들은 이에 대해서 좋지 않은 성능을 내는 것을 보여준다. 또한 XVFI-Net 프레임워크는 기존의 저해상도 벤치마크 데이터셋에서도 최신 기법들과 비슷한 성능을 내어 알고리즘의 강건함을 보인다.
