Tour Into the Picture (TIP) proposed by Horry et al. [1] is a method for generating a sequence of walk-through images from a single reference image. By navigating a 3D scene model constructed from the image, TIP provides convincing 3D effects. Assuming that the image has one vanishing point, they proposed the scene modeling scheme called spidery mesh with which the users can make their imagination real as they find or feel in the 2D image.
This thesis presents a system that creates walk-through images from a video sequence by generalizing the idea of TIP. To address various problems in dealing with a video sequence rather than a single image, the proposed system is designed to have the following features: First, the system incorporates a new modeling scheme based on a vanishing line (or vanishging circle) identified in the video, which is more general and simpler than the previous method. Second, a semi-automatic background detection technique is employed in conjunction with a 4-parameter motion model for image registration. Third, we developed a highly interactive image segmentation tool called enhance lane to extract the foreground objects at each frame.
The purpose of this work is to let users experience the feel of navigating into a video sequence with their own interpretation and imagination about the given scene. The proposed system covers various types of video films of dynamic scenes such as sports coverage, cartoon animation, movie films, etc., in which objects are continuously changing their shapes and locations. It can also be used to produce a variety of synthetic video sequences by importing and merging dynamic foreign objects with the original video.
Horry 등에 의해 제안된 ‘그림 속으로의 여행’ 기법은 한 장의 정지 영상을 입력으로 받아 카메라의 이동에 의한 워크스루 영상 시퀀스를 생성하기 위한 기법으로, 2 차원 정보로부터 3 차원 장면 모델을 생성함으로써 실감나는 3 차원 효과를 재현할 수 있다. 입력 영상에 단 하나의 소실점이 존재한다는 가정 하에 방사형 메쉬로 구성된 인터페이스를 제공하며, 이를 통해 사용자는 영상으로부터 3 차원 모델을 재구성하는 과정에서 사영 기하학 정보를 기초로 각자의 해석과 상상력을 더할 수 있다.
본 논문에서는 ‘그림 속으로의 여행’ 의 아이디어를 일반화하여, 비디오를 입력으로 받아 카메라의 이동에 의한 워크스루 영상 시퀀스를 생성하기 위한 시스템을 제안한다. 한 장의 정지 영상이 아닌 비디오 시퀀스를 처리하기 위해, 본 시스템은 다음과 같은 세가지 핵심 기능을 가진다. 첫째, 입력 비디오 상에 나타나는 소실선(또는 소실원)에 기반한 새로운 모델링 방법을 사용한다. 둘째, 움직이는 카메라로부터 얻어진 비디오로부터 배경 정보를 자동으로 추출하기 위해, 4 개의 매개 변수를 사용한 카메라 추적 모델 및 픽셀 단위의 다중 가우시안 분포 모델을 병용한다. 마지막으로, 비디오로부터 움직이는 전경 물체들을 효과적으로 추출하기 위해, 그래프 탐색에 기반한 새로운 대화식 세그멘테이션 툴을 개발하여 사용한다.
본 연구를 통해 제안된 기법들은 실용적인 관점에서 볼 때 사용자로 하여금 주어진 입력 비디오 속으로 여행하는 듯한 효과를 체험하게 하며, 실험 결과에서 볼 수 있듯이 스포츠 중계, 카툰 애니메이션, 영화의 한 장면 등 동적인 장면을 포함하는 다양한 종류의 입력 비디오에 적용 가능하다. 뿐만 아니라, 본 시스템을 통해 2 차원 또는 3 차원의 동적인 가상 물체들을 구성된 장면 모델에 추가함으로써 새로운 합성 비디오를 쉽게 구성할 수 있으며, 전경, 배경, 그리고 카메라의 움직임을 각각 분석 및 변형하여 서로 다른 방식으로 조합함으로써 다양한 형태의 비디오 텍스쳐를 생성하는 것도 가능하다.
