Stereoscopic virtual view generation has become one of the trending issues in engineering field with the emergence of commercial 3D displays. Given an image sequence taken by a moving camera, the camera parameters and 3D information of the scene can be recovered using structure from motion algorithm. The goal of this work is to create a realistic stereoscopic image sequence of novel camera path using the depth information. Previous works usually concentrate on view interpolation which brings good results on generating stereoscopic view of input sequence with limited camera movement. Our approach takes full advantage of recovered 3D points to create a novel view of the scene that reflects its own depth. Segment based dense depth maps guided by the projected 3D points are iteratively refined to provide spatially consistent depths between two images for each eye. Unavoidable empty regions in the novel view, which are originally occluded in the input images, are filled using texture synthesis. Experimental results show that the proposed method yields more realistic views than the previous ones.
3차원 디스플레이의 상업화로 인해 2차원 컨텐츠를 3차원 디스플레이로 보며 입체감을 느낄수 있도록 3차원 컨텐츠화하는 기술이 빠르게 발전하고 있다 . 3차원 디스플레이의 원리는 사람의 왼쪽 눈과 오른쪽 눈에 같은 장면을 각각의 눈의 위치에서 바라본 영상을 쏘아줌으로써 입체감을 느끼게 하는 방법을 주로 사용한다. 따라서 주어진 영상 시퀀스가 한쪽 눈에서 보이는 영상이라고 할 때, 다 른 한쪽 눈에서 보임직한 영상을 만들어내는 것이 입체적인 시각 합성의 핵심이다 .
움직이는 카메라로 고정된 장면을 찍은 영상 시퀀스의 경우, 카메라의 움직임으로 인한 시차를 이용하여 장면의 3차원 정보를 얻을 수 있다. Homography를 이용한 기존 연구는 우선 structure from motion으로 얻은 각 프레임별 카메라 위치와 장면의 3차원 점을 이용하여 만들고자 하는 시각에서 가장 가까운 입력 영상을 찾는다. 가장 가까운 입력 영상과 만들고자 하는 영상에 전사되는 3차원 점의 상으로 대응관계를 얻어 평면 homography를 추정한다. 이 방법은 평면 homography로 카메라의 움직임에 따른 장면의 변화가 충분히 반영될만큼 비슷한 위치에서의 입력 영상이 있을때 좋은 결과를 보인다. 하지만 이 방법은 장면을 평면으로 가정하기 때문에 입력 영상의 카메라 움직임에서 다소 벗어난 위치의 시각을 만들어낼 때 부자연스러운 결과를 보인다.
본 논문에서는 주어진 입력 영상의 3차원화 뿐만 아니라 이 영상으로 복원해낸 장면의 3차원 정보를 충분히 활용하여 입력 영상의 카메라 움직임에서 벗어난 위치의 새로운 시각을 양안으로 만들어 내는 시스템을 제안한다. 우선 homography 방식으로 모든 입력 영상에 대한 다른 쪽 눈의 영상을 만들어낸 다음, 세그먼트 기반의 조밀한 깊이맵을 복원한다. 이 때 structure from motion으로 복원해낸 3차 원 점의 깊이 정보를 활용하고 양안 시각의 일관성을 위해 주변 영 상의 깊이맵과의 일관성을 확인한다. 반복적인 개선 절차와 Markov Random Field 최적화 단계를 거쳐 깊이맵을 완성하면 각 세그먼트를 결정된 깊이에 따라 가상의 영상으로 전사한다. 세 그먼트를 전사하여 가상의 영상에 그릴 때에는 깊이가 큰 세그먼트부터 그려 앞에 위치한 세그먼트가 뒤에 위치한 세그먼트를 자연히 가릴 수 있도록 한다. 세그먼트 사이에 생기는 2픽 셀 이내의 틈은 쌍일차 보간법 (bilinear interpolation)으 로 메우고 그보다 더 큰 부분은 텍스쳐 합성으로 메운다.
빈 부분에 적합한 텍스쳐를 골라내기 위해 채우고자 하는 픽셀에서 가까운 곳에 위치하며 비슷한 깊이 값을 가지는 세그먼트의 텍스쳐를 후보로 삼는다. 픽셀 주변의 패치를 비교하여 가장 비슷한 패치를 가지는 픽셀 값을 복사하는 방식으로 텍스쳐 합성을 수행한다.
제안한 방식으로의 입체적인 가상 시각의 합성은 장면의 3차원 정보를 충분히 활용한 시각을 만들어낸다. 또한 기존 영상에서 보이지 않았던 부분을 텍스쳐 합성으로 채워 빈 공간의 정보를 주변 정보로부터 추측해낸다. 본 논문에서는 제안하는 방식으로의 가상 시각 합성을 기존의 방법과 비교 실험하여 그 우수성을 보이는 동시에, 카메라와 레이저를 결합한 센서로 얻은 데이터를 이 용하여 3차원 디스플레이를 위한 입체적인 가상 시각을 합성할 때 실제 크기에 대한 정보가 중요함을 입증한다.
