Video frame interpolation (VFI) synthesizes intermediate frames to temporally upscale a low frame rate (LFR)
video to a high frame rate (HFR) one, which provides a visually pleasing experiences to users. On the other
hand, motion blur is generally induced when capturing videos due to the accumulations of the light. Therefore,
eliminating the motion blur, called deblurring, is also important to synthesize sharp intermediate frames while
performing VFI. In this dissertation, we propose a novel joint deblurring and multi-frame interpolation (DeMFI)
framework, called DeMFI-Net, which accurately converts blurry videos of lower-frame-rate to sharp videos at
higher-frame-rate based on flow-guided attentive-correlation-based feature bolstering (FAC-FB) module and recursive boosting (RB), in terms of multi-frame interpolation (MFI). The DeMFI-Net jointly performs deblurring
and MFI where its baseline version performs feature-flow-based warping with FAC-FB module to obtain a sharpinterpolated frame as well to deblur two center-input frames. Moreover, its extended version further improves the
joint task performance based on pixel-flow-based warping with GRU-based RB. Our FAC-FB module effectively
gathers the distributed blurry pixel information over blurry input frames in feature-domain to improve the overall
joint performances, which is computationally efficient since its attentive correlation is only focused pointwise.
Furthermore, we conduct diverse experiments on module locations, occlusion maps, efficient version, one-stage
version and adaptivity on fps to deeply study our network for DeMFI. As a result, our DeMFI-Net achieves
state-of-the-art (SOTA) performances for diverse datasets with significant margins compared to the recent SOTA
methods, for both deblurring and MFI. All source codes including pretrained DeMFI-Net are publicly available at
https://github.com/JihyongOh/DeMFI.
비디오 프레임 보간(VFI)은 중간의 비디오 프레임들을 합성하여 낮은 프레임율 (LFR) 비디오를 높은 프레임
율 (HFR)로 시간적으로 업스케일하여 사용자에게 시각적으로 즐거운 경험을 제공합니다. 한편, 일반적으로
동영상 촬영 시에는 빛의 축적으로 인해 모션 블러가 발생합니다. 따라서 모션 블러를 제거하는 것도 VFI를
수행하면서 선명한 중간 프레임을 합성하는 데 중요합니다. 이 학위논문에서 우리는 다중 프레임 보간 (MFI)
측면에서의 흐름 유도 기반의 주의 상관 관계 기반 기능 보강 (FAC-FB) 모듈 및 재귀 부스팅 (RB)으로 낮은
프레임 속도의 블러한 비디오를 높은 프레임 속도의 선명한 비디오로 정확하게 변환하는 DeMFI-Net이라는새
로운 합동 디블러링 및 다중 프레임보간 (DeMFI) 프레임워크를 제안합니다. DeMFI-Net의 베이스라인 버전은
FAC-FB 모듈과 함께 피쳐 흐름 기반 워핑을 수행하여 두 개의 중앙 입력 프레임들과 중간의 프레임을 선명하게
변환합니다. 또한 확장 버전은 GRU 기반 RB와 픽셀 흐름 기반 워핑을 기반으로 합동 작업 성능을 더욱 향상시
킵니다. 우리의 FAC-FB 모듈은 피쳐 영역의 블러한 입력 프레임에 걸쳐 분산된 블러한 픽셀 정보를 효과적으
로 수집하여 전체 합동 성능을 개선합니다. 이는 주의 상관 관계가 포인트점 단위로만 집중되기 때문에 계산적
으로 효율적입니다. 또한 모듈 위치, 폐색 맵, 효율적인 버전, 한단계 버전 및 fps에 대한 적응성에 대한 다양한
실험을 수행하여 DeMFI에 대한 네트워크를 심층적으로 연구합니다. 결과적으로 DeMFI-Net은 디블러링 및
MFI 모두에 대해 최신 방법들에 비해 상당한 차이로 다양한 데이터 세트에 대한 최첨단 (SOTA) 성능을 달성
합니다. 사전 훈련된 DeMFI-Net을 포함한 모든 소스코드는 https://github.com/JihyongOh/DeMFI
에서 공개적으로 사용할 수 있습니다.
