Image-based modeling and rendering techniques have received much attention as a powerful alternative to the traditional geometry-based modeling and rendering techniques for generating novel views of real/synthetic scenes or objects. They use two-dimensional (2D) images as primitives to generate an arbitrary view of the three-dimensional (3D) scene or object. Since photos or images contain details of the scene, the modeling process is unnecessary. Image-based modeling and image-based rendering (IBR) techniques require proper computational resources and do not bother from the complexity of 3D objects in the scene. In addition, it is much easier to acquire a photo or a picture than complex 3D models of the scene. Among the variety of IBR techniques, a layered depth image (LDI) is one of the efficient rendering and representation methods for 3D scenes or objects with complex geometries.
LDI, proposed by J. Shade et al., represents the scene or the object with an array of pixels viewed from a single reference camera location. As a data structure corresponding to a single projection of scenes or objects, it stores information for each point of intersection of each projection ray with scenes or objects. And LDI contains potentially multiple depth pixels at each discrete location in the image. Instead of a 2D array of depth pixels, a 2D array of layered depth pixels is stored in LDI. A layered depth pixel stores a set of depth pixels along one line of sight sorted in front to back order. The front element in the layered depth pixels samples the first surface seen along that line of sight; the next pixel in the layered depth pixel samples the next surface seen along that line of sight, etc. Although LDI is one of the efficient representation methods for 3D scenes or objects with complex geometries, one big obstacle is to deal with a huge amount of data, unlike ordinary 2D images. In addition, because of multiple layer characteristic of LDI, the number of layers (NOL) at each spatial location must be additionally encoded. Therefore, the compression of LDIs has received attention since LDI has been proposed.
There are a variety of conventional 2D image compression algorithms and schemes. However, because of the special data structure of LDIs, they cannot be applied directly or are not very efficient. So, several researches have been conducted on compression of LDIs. They focus on layer-based coding: Most of them treat each layer of LDI as one 2D image. Some few of them generate new 2D images. Therefore they concentrate on how to generate 2D images from the sparse and nonrectangular supported data of LDI and how to improve the correlation of data in generated 2D images. However, we focus on the efficient coding system for 3D objects irrespective of its layer by considering the structure of an object.
In this dissertation, an efficient depth coding system for LDIs representing 3D objects is proposed. First, we address problems in the compression of LDIs which represent 3D objects. Unlike the previous approaches focusing on Layer-based coding, we search highly correlated data irrespective of their layer. To seek them, we define the connectivity between depth points by considering the structure of 3D object and extract the partial surfaces from depth point cloud of LDI representing 3D object. Second, we describe a compression method of depth information for LDIs representing complex 3D objects. We partition partial surfaces into blocks, called fragments, by dividing and fragmenting them. And we fit a parametric curved surface on a fragment and get its parameters. Then the residual data, the difference of depth between a fragment and its parametric curved surface, are coded by conventional shape adaptive transform coding algorithms. In addition, we efficiently compress the connectivity information required for extracting partial surfaces by using both the symbols for segments and run-length coding (RLC). Finally, we present a variety of applications realized additionally by using the proposed compression scheme. First, we can simply realize LDI down/up-sampling from down/up-sampling of partial surfaces. Second, we can generate 3D mesh from depth point cloud of LDI by means of the connecitivity between depth points, proposed in this dissertation. Third, we can easily design surface hierarchy, one of the multiresolution techniques, which decompose the model into a hierarchy of meshes that represent different levels of detail. Finally, we can generate scalable mesh by changing the dimension of a curved surface generated by the control points of a parametric curved surface, such as a NURBS surface and a B??zier Patch.
3차원 공간의 임의 시점에서 본 영상을 생성하기 위하여 고전적인 기하 기반 모델링 및 렌더링 기법들을 대신하여 영상 기반 모델링 및 렌더링 기법들이 각광을 받고 있다. 영상 기반 모델링 및 렌더링 기법은 2차원 영상들을 이용하여 3차원 배경이나 물체의 임의 시점 영상을 생성하는 방법이다. 사진이나 영상은 장면을 표현하는 상세한 정보를 지니고 있기 때문에 추가적인 모델링 작업이 필요하지 않으며 복잡한 3차원 모델을 생성하는 것보다 사진이나 영상을 획득하는 것이 훨씬 쉽다. 그리고 이러한 접근 방법은 2차원 영상을 입력으로 사용하므로 생성하려는 물체의 복잡성과는 무관하다. 계층적 깊이 영상 (Layered Depth Image, LDI)은 이러한 영상 기반 모델링 및 렌더링 기법들 중의 하나로서 복잡한 기하정보를 갖는 3차원 물체나 배경을 효과적으로 표현하고 렌더링하는 방법이다.
계층적 깊이 영상은 3차원 물체나 배경을 하나의 기준 시점에서 보이는 화소의 배열로서 표현한다. 기준 시점에서 물체나 배경을 향해 광선을 투과시키고 광선과 교차되는 순서에 따라 교차점에서의 정보들이 계층적 깊이 화소에 저장된다. 이때 교차점에서의 깊이 정보뿐만 아니라 교차점에서의 색상 및 렌더링을 위한 부가정보들과 같은 다양한 정보들이 저장된다. 따라서 화소의 위치마다 같은 수의 계층이 형성되는 것이 아니라, 교차점의 개수에 따라 생성되는 계층의 수가 달라지며 후미의 계층으로 갈수록 낮은 화소 밀도를 가진다. 그러므로 계층적 깊이 영상은 기존의 2차원 영상과는 달리 많은 양의 데이터를 포함한다. 따라서 계층적 깊이 영상이 제안된 이후로 이의 압축 부호화에 대한 연구가 주목을 받고 있다.
계층적 깊이 영상의 독특한 데이터 구조로 인해 기존의 2차원 영상을 위해 제안된 압축 기법을 그대로 적용하기가 어렵고 비효율적이다. 따라서 계층적 깊이 영상의 압축 부호화를 위해 많은 연구들이 진행되었다. 기존의 연구들은 계층적 깊이 영상의 계층에 기반한 압축 부호화를 수행한다. 이들은 하나의 계층을 한 장의 2차원 영상으로 간주하거나 여러 계층들을 이용하여 새로운 2차원 영상들을 생성한다. 그래서 기존의 연구들은 화소의 밀도가 낮은 계층의 데이터들로부터 새로운 2차원 영상을 생성하거나 생성된 2차원 영상 내의 데이터들의 상관성을 향상시키고자 한다. 그러나 본 연구에서는 3차원 물체의 구조를 고려하여 계층에 상관없는 압축 기법을 연구하고자 한다.
본 논문에서는 3차원 물체를 표현하는 계층적 깊이 영상을 위한 효율적인 깊이 정보 압축 부호화 시스템을 제안한다. 먼저, 기존의 계층 기반 압축 부호화 방법들과는 달리, 계층과는 관계없이 상관성이 높은 데이터들을 추출한다. 이를 위하여 3차원 물체의 구조를 고려하여 깊이점 간의 연결성(connectivity)을 정의하고 계층적 깊이 영상으로부터 부분 곡면들(partial surfaces)을 추출한다. 두번째, 복잡한 3차원 물체를 표현하는 계층적 깊이 영상의 깊이 정보를 위한 압축 기법을 제시한다. 부분 곡면들을 프레그먼트(fragment)로 정의되는 여러 조각들로 분할한 후, 각 프레그먼트를 파라메트릭 곡면(parametric curved surface)으로 모델링한다. 그리고 프레그먼트와 모델링을 위한 파라메트릭 곡면간의 차이를 일반적인 모양 적응적 변환 부호화 기법을 이용하여 압축 부호화한다. 그리고 부분 곡면의 생성을 위해 필요한 연결성 정보를 효율적으로 압축 부호화하기 위하여 세그먼트의 연결성 타입과 연속-길이 부호화를 이용한다.
그리고 제안하는 압축 방법으로부터 실현할 수 있는 4가지 응용 분야를 제시한다. 첫번째, 부분 곡면의 다운/업 표본화를 통하여 계층적 깊이 영상의 다운/업 표본화를 구현할 수 있다. 두번째, 본 논문에서 제안된 깊이점 간의 연결성을 이용하여 계층적 깊이 영상으로부터 3차원 메쉬(mesh)를 생성할 수 있다. 새번째, 부분 곡면의 LOD(Level Of Detail)를 변화시킴으로써 다중해상도 기법들 중의 하나인 표면 계층(surface hierarchy)을 쉽게 디자인할 수 있다. 네번째, 파라메트릭 곡면의 차원(dimension)을 변화시킴으로써 스케일러블 메쉬를 생성할 수 있다. 다양한 3차원 물체들을 표현하는 계층적 깊이 영상들을 이용한 실험으로부터 제안기법이 기존 기법들보다 평균적으로 58.2%의 압축률 향상을 보임을 확인할 수 있었으며 복원결과를 통한 주관적 화질의 비교에서도 제안 기법이 좋은 성능을 나타냄을 확인할 수 있었다.
