With the popularity of immersive display systems that fill the viewer’s field of view (FOV) entirely, demand for wide FOV content has increased. A video extrapolation technique based on reuse of existing videos is one of the most efficient ways to produce wide FOV content. Extrapolating a video poses a great challenge, however, due to the insufficient amount of cues and information that can be leveraged for the estimation of the extended region. This paper introduces a novel framework that allows the extrapolation of an input video and consequently converts a conventional content into one with wide FOV. The key idea of the proposed approach is to integrate the information from all frames in the input video into each frame. Utilizing the information from all frames is crucial because it is very difficult to achieve the goal with a 2D transformation based approach when parallax caused by camera motion is apparent. Warping guided by scene-space information matches the viewpoints between the different frames. The matched frames are blended to create extended views. Various experiments demonstrate that the results of the proposed method are more visually plausible than those produced using state-of-the-art techniques.
시청자의 시야(FOV)를 완전히 채우는 몰입형 디스플레이 시스템의 인기로 인해 넓은 FOV 콘텐츠에 대한 수요가 증가했습니다. 기존의 비디오를 재사용하는 비디오 확장 기술은 넓은 FOV 컨텐츠를 생성하는 가장 효율적인 방법 중 하나입니다. 그러나 확장할 부분에 대한 정보와 단서가 부족하기 때문에 비디오를 확장하는 것은 굉장히 도전적인 과제입니다. 본 논문에서는 비디오를 확장하는 새로운 프레임 워크를 소개합니다. 결과적으로 기존의 콘텐츠를 넓은 FOV로 변환합니다. 제안된 방법은 입력 비디오가 담고 있는 모든 정보를 최대한 활용하여 고품질의 주변 영상을 생성해냅니다. 장면 공간 상의 정보를 단서로, 프레임 사이의 시점 관계를 계산하고, 특정한 타겟 프레임에 맞도록 주변 프레임의 시점을 와핑을 통해 조절합니다. 이렇게 하나의 시점으로 조절된 모든 프레임의 정보들을 모아 타겟 프레임을 확장합니다. 다양한 실험을 통해 제안된 방법의 결과가 기존의 최신기술을 사용하여 생성된 결과보다 시각적으로 우수하다는 것을 입증합니다.
