Free-viewpoint rendering (FVR) has become a popular topic in 3D research. A promising technology in FVR is to generate virtual views using a single texture image and the corresponding depth image. A critical problem that occurs when generating virtual views is that the regions covered by the foreground objects in the original view may be disoccluded in the synthesized views. In this paper, a depth based disocclusion filling algorithm using patch based texture synthesis is proposed. In contrast to the existing patch based virtual view synthesis methods, the filling priority is driven by the robust structure tensor which efficiently reflects the overall structure of an image part and a new confidence term which produces fine synthesis results even near the foreground boundaries. Moreover, the best-matched patch is searched in the background
regions and finally it is chosen through a new patch distance measure. Significant superiority of the proposed method over the state-of-the-art methods is presented by comparing the experimental results. We further provide the utility of the proposed method by applying it to 3D video call system with a single camera.
영상 기술의 발전에 힘입어 영상 시청에 대한 시청자의 기대수준은 2차원 영상을 3차원 영상으로 시청하고자 하는 단계까지 이르렀다. 3D 영화의 흥행 및 3DTV 시장의 급성장은 입체 영상에 대한 시청자의 높은 관심을 반영한다. 그 중 제한된 시점의 카메라로부터 취득된 영상을 이용하여 원래 시점이 아닌 다른 시점의 영상을 생성하여 원래 시점 사이를 자유롭게 이동하며 시청할 수 있는 기술이 각광받고 있다. 자유시점 렌더링(Free Viewpoint Rendering)이라고 불리는 이 기술은 최근 3D 연구에서 활발히 연구되고 있으며 가상시점 TV(FTV), 3D 의료영상, 멀티미디어 서비스 및 3D 재구성 등의 응용분야에 적용될 수 있다. 이러한 가상 시점 생성은 깊이 맵을 이용하여 한 시점의 영상을 다른 시점 영상으로 사영(Projection) 또는 워핑(Warping)하는 깊이영상 기반 렌더링(Depth Image Based Rendering, DIBR)이라는 기술에 의해 가능하게 되었다. 하지만 깊이영상 기반 렌더링(DIBR)에서 필연적으로 발생하는 문제가 있다. 바로 원래 시점에서 객체에 의해 가려졌던 가려짐 영역(occluded regions)이 가상시점에서는 보여진다는 것이다. 존재하지 않는 정보를 보여야하기 때문에 빈 영역 또는 홀(hole) 영역으로 보여지게 된다. 본 학위 논문에서는 깊이맵의 전처리 없이 넓은 기준선의 가상시점으로 사영되어 발생한 큰 홀 영역에 대해서도 자연스러운 합성 결과를 낼 수 있는 패치 기반 비모수적 텍스쳐 합성 방법을 제안한다. 제안하는 방법의 우수성을 검증하기 위해 다양한 멀티뷰 영상들로 구성된 데이터베이스를 이용해 실험을 진행하였으며, 기존 방법들의 결과와 비교하여 객관적, 주관적 평가 결과를 보여 그 우수성을 증명한다.
