Autostereoscopic 3D displays have drawn attention of the manufacturing and researches as one of the emerging 3D display technologies. It can immerse viewers in a unique viewing experience by presenting different multiple perspectives of a scene without wearing eye glasses. In practice, because all of views are required to realize such 3D services, it is necessary to generate multiple virtual views of a scene from only a few number of known reference views. Depth image-based rendering (DIBR) is a widely used technique to generate the virtual views of a scene for autostereoscopic 3D displays. In general, the 3D warping process in DIBR might yield holes in the synthesized virtual views due to the disocclusion regions occluded by fore-ground objects in the reference views. Thus, one of the most challenges for DIBR is how to fill the holes caused by disocclusion regions. To address the problem, several researches have proposed depth-guided hole filling methods to synthesize the virtual views. However, most of these existing methods have tried to fill the holes only frame-by-frame. Thus, although the methods provide visually plausible results in each individual frame, the abrupt intensity changes or structure inconsistencies between the filled regions of consecutive frames could arise in the synthesized videos. In addition, it should be pointed out that almost of existing hole filling methods do not take into account the coherence among synthesized virtual views. In other words, a binocular symmetry has not been considered thus far. Since human eyes are highly sensitive to the temporal flicker artifacts and the left- and right- image mismatches when watching a 3D video, the temporal consisten-cy and the binocular symmetry are crucial factors that could degrade the overall viewing quality of the syn-thesized 3D videos. In this thesis, we propose a temporally consistent and binocular symmetric hole filling method by global optimization in discrete Markov random field (MRF) framework to synthesize the virtual view-videos warped from a single video-plus-depth sequence. To this purpose, a new MRF energy function is designed to take the temporal consistency and binocular symmetry into account simultaneously by utilizing information of both previous frame and adjacent view under the guidance of motion vectors and depth maps. Also, to reduce the high computational complexity of applying belief propagation (BP) for optimizing the MRF energy function, we introduce a notion of patch propagation that propagates reliable candidate patches already processed in both previous frame and adjacent view. Experimental results demonstrated that the proposed method achieves the high performance of the temporal consistency and binocular symmetry in the synthesized videos compared to the state-of-the-art methods. In addition, the proposed method could have a high gain of the operation time while maintaining the visual quality.
오토스테레오스코픽 3차원 디스플레이는 새로운 3 차원 디스플레이 기술 중 하나로 많은 연구가 되고 있다. 이 기술은 다중 시점의 영상들을 시청자에게 제공함으로써 안경 없이 3 차원 영상을 제공해 줄 수 있다. 하지만, 이러한 3차원 서비스를 제공하기 위해서는 모든 시점의 영상들이 필요하며, 이 영상들을 송수신하는 것은 불가능하기 때문에 원본 카메라로부터 얻어진 적은 수의 영상으로부터 가상시점의 영상들을 생성하는 기술이 요구된다. 일반적으로 가상시점 영상을 생성하기 위해서 깊이 영상 기반 렌더링 (depth image-based rendering) 기술이 주로 사용된다. 하지만 깊이 영상 기반 렌더링의 3 차원 와핑 기술을 적용하면 원본 시점의 영상에서 전경에 의해 가려져 있던 배경 영역이 가상시점 영상에 나타나면서 홀이 생기게 된다. 따라서, 깊이 영상 기반 렌더링에서 가장 도전적인 요소는 이 홀을 채우는 것이다. 이를 위해서 기존 방법들은 하나의 영상 내에서 깊이 영상 정보를 이용한 홀 채움 방법들을 제안해왔다. 하지만, 대부분의 방법들은 비디오 내 한 프레임에서의 영상을 독립적으로 홀을 채우는 방식이다. 따라서, 연속된 비디오 프레임 내의 채워진 영역에 대해서 급격한 구조와 밝기 등의 변화가 생길 수 있다. 또한, 대부분의 방법들은 다른 시점의 가상 시점 영상들 사이의 관계를 고려하지 않았기 때문에 가상 시점 영상 간의 불일치 문제가 발생할 수 있다. 3 차원 비디오를 시청 할 때, 인간의 눈은 시간적 불일치와 좌우 영상의 불일치에 매우 민감하기 때문에, 시간적 일관성 (temporal con-sistency) 과 양안 일치 (binocular symmetry) 는 합성된 3 차원 비디오의 시각적 품질에 영향을 미치는 주요한 요소이다. 본 연구에서는 이산 마코브 랜덤 필드 (Markov random field) 체계에서 전역 최적화를 이용한 시간적 일관성과 양안 일치가 있는 홀 채움 방법을 제안하였다. 이를 위해 모션 벡터와 깊이 영상의 도움을 받아 이전 프레임과 인접 시점의 정보를 활용함으로써 시간적 일관성과 양안 일치가 동시에 고려될 수 있는 새로운 마코프 랜덤 필드의 비용 함수를 디자인 하였다. 또한, 마코프 랜덤 필드의 비용함수를 최적화 하기 위한 belief propagation (BP) 의 높은 게산량을 줄이기 위해, 이전 프레임과 인접 시점영상에서 이미 처리된 신뢰가 높은 후보 패치들을 전달 시키는 패치 전달 기법을 제안하였다. 제안하는 방법의 우수성을 확인하기 위해 수 개의 공인데이터베이스를 사용하여 기존 방법들과 비교실험을 수행하였다. 실험 결과로부터 제안하는 방법은 영상의 품질은 유지하면서 기존방법에 비해 계산량이 현저히 줄어들고 시간적 일관성과 양안 일치가 있는 비디오 영상이 생성되는 것을 확인하여 제안하는 방법의 우수성을 입증하였다. 본 연구결과는 합성된 3 차원 비디오를 무안경식 3차원 디스플레이를 통해 시청 할 때, 3 차원 비디오의 시각적 품질을 높이는데 활용 될 수 있을 것이라 기대된다.
