A Layered Depth Image (LDI) is one of the Image Based Representation (IBR) methods and rendering of arbitrary views can be efficiently performed in the LDI. The drawback of LDI, however, is large amount of data. In this thesis, we propose a visual hull-based framework for LDI-based 3D video object coding.
In this thesis, we encodes LDI-based 3D video object by its multi-view silhouette images. Since silhouette images are binary and the adjacent silhouette images along time-axis have high correlation, high coding efficiency can be achieved. The encoded 3D video object is then decoded with Shape-From-Silhouette (SFS). We also suggest Layered Depth Difference Image (LDDI) to encode residuals between the original video object and the decoded video object.
Silhouette images of the 3D object are acquired by projecting the object into various directions. Since it is inefficient to encode every silhouette, the selection of a few key silhouette images is required. A Key silhouette image is determined by how many 3D points are located on the boundary of the silhouette, since the silhouette has high chance of reconstructing 3D points which are projected on its boundary using Shape-From-Silhouette.
Shape-From-Silhouette generates a 3D model of the object with multi-view silhouettes. The generated model is the upper bound of the original object and as a result, depth difference is generated between the original object and the reconstructed object.
Depth difference between the original object and the reconstructed object is represented by Layered Depth Difference Image (LDDI). Since depth values change smoothly in most of the regions, depth difference values also change smoothly and using this characteristic, LDDI is encoded using planar approximation, which is one of piecewise approximation method of depth value.
Experiments show that coding efficiency is improved with the proposed framework. With further coding efficiency improvement via motion estimation and efficient residual processing, the proposed system can be a good framework of 3D object encoding system.
깊이 계층 영상은 3차원 물체의 영상기반 표현 방법 중의 하나이며, 깊이 계층 영상은 임의의 시점에서 본 영상을 생성하는 렌더링에 효율적이다. 깊이 계층 영상의 단점은 데이터 량이 많다는 점이다. 본 논문에서는 깊이 계층 기반 3차원 물체 동영상 코딩을 위한 비주얼 헐 기반 프레임 워크를 제안한다.
본 논문에서는 깊이 계층 영상 기반 3차원 물체 동영상을 다중 시점 실루엣으로 코딩한다. 실루엣 영상은 이진 영상이며 시간 축으로 인접한 실루엣 영상은 높은 상관도를 가지므로, 높은 압축 효율을 가질 수 있다. 코딩된 3차원 물체 동영상은 Shape-from-Silhoutte(SFS) 방법을 통해 복호화 된다. 본 논문에서는 깊이 차 계층 영상을 제안하며, 이것은 실제 물체와 복호화된 물체의 차이를 코딩하는 데에 사용된다.
3차원 물체의 실루엣 영상은 물체를 다양한 방향으로 투영시켜 획득한다. 모든 실루엣 영상을 다 코딩하는 것은 비효율 적이므로, 핵심적인 실루엣 영상을 선정하는 작업이 필요하다. 핵심 실루엣 영상은 영상의 경계에 얼마나 많은 3차원 점이 투영되었는 가에 따라서 선정되는데, 이는 자신의 경계에 투영된 3차원 점들을 Shape-from-Silhouette과정을 통해 복원할 가능성이 높기 때문이다.
Shape-from-Silhoutte은 다중 시점 실루엣 영상을 통해 3차원 물체의 모델을 생성한다. 생성된 모델은 실제 물체의 오목한 부분을 표현하지 못하며, 그 결과 실제 물체와 복원된 물체 사이의 깊이 차가 발생한다.
실제 물체와 복원된 물체와의 깊이 차는 깊이 차 계층 영상으로 표현된다. 깊이 값은 대부분의 영영에서 점진적으로 변하므로, 깊이 차 계층 영상은 깊이 값을 부분 근사화 하는 방법 중의 하나인 평면 근사화 방법으로 코딩한다. 실험 결과 제안된 방법을 통해 압축 효율이 향상되는 것을 확인할 수 있었으며, 움직임 보상 및 효율적인 잉여값 처리가 추가된다며, 제안된 시스템은 3차원 물체 코딩에 있어서 좋은 프레임 워크가 될 수 있다.
