Video outpainting is a burgeoning research domain aimed at enriching the visual experience as well as the immersion of viewers by extending field-of-view (FOV) of videos. Its primary objective is to fill out the newly expanded regions beyond the original input video’s boundary. Our proposed method comprises two key components: (1) background estimation and (2) foreground estimation. Background estimation involves the segmentation of dynamic objects within the scene, facilitated by a human-in-the-loop system. Optical flow information is then utilized to ensure temporal consistency. On the other hand, foreground estimation employs a frame extrapolation technique to predict the motion of dynamic objects within the expanded areas. Compared to the baseline, our method excels in generating more realistic backgrounds with minimized artifacts. Additionally, it successfully maintains the contextual integrity of moving objects beyond the original video's borderline into the outpainted area. The effectiveness of our approach is evaluated on two datasets: DAVIS and a custom movie dataset comprising 300 clips spanning various movie genres. The results underscore the capability of our method to enhance video content and preserve visual coherence in the extended FOV.
비디오 아웃페인팅은 비디오의 시야를 (FOV) 확장하여 시청자의 몰입과 시각적 경험을 풍부하게 하는 것을 목표로 하는 떠오르는 연구 영역이다. 주요 목표는 기존 입력 비디오의 경계를 넘어 새로 확장된 영역을 채우는 것이다. 본 논문에서 제안하 방법은 (1) 배경 추정과 (2) 전경 추정의 두 가지 주요 구성 요소로 구성된다. 배경 추정은 휴먼 인 더 루프 시스템을 통해 장면 내 동적 객체의 분할을 포함한다. 그런 다음 광학 흐름 정보를 사용하여 시간적 일관성을 보장한다. 전경 추정은 확장된 영역 내에서 동적 객체의 움직임을 예측하고 그려내기 위하여 이중 도메인 및 비디오 트랜스포머를 통합한 영상 인페인팅 기법을 아웃페인팅에 적용한다. 제안된 방법은 참고 연구에 비해 최소화된 아티팩트를 보장하여 현실적인 배경을 생성한다. 또한 원본 비디오의 경계선을 넘어 아웃페인팅된 영역에서도 객체를 이동을 유지한다. 제안된 방법의 유효성은 DAVIS와 다양한 장르에 걸친 실사 영화로 이루어진 데이터셋의 영상들로 평가하였다. 평가 방법은 질적, 사용자평가를 포함한 양적 평가를 모두 포함하며 결과적으로는 확장된 FOV에서 비디오 최신 연구 대비 콘텐츠를 향상시키고 시각적 일관성을 유지하였다.
