Image-based object reconstruction is a technique which produces a 3D video content from multi-view images. It utilizes multiview images of objects and generates a 3D content using textures or silhouette infor-mation of the objects. Since image-based object reconstruction can produce true 3D contents of real objects at a low cost, a variety of researches on this technique have been conducted. Most of the previous works, however, focus on the accurate object reconstruction and efficient encoding of the reconstructed data has drawn less attention. In this dissertation, we propose a predictive compression system for the geometry of 3D video objects. We assume that the geometry information of objects is generated by using a 3D RLE-based representation which is memory-efficient and computationally inexpensive. The proposed compression system supports intra mode and inter mode. For intra mode, a visual hull of an object, which is a 3D entity generated by shape-from-silhouette, is utilized for prediction. For the generation of a visual hull, multi-view silhouettes of an object are required and we propose a silhouette generation method which changes the location of cameras for silhouette generation according to the shape of the object. During the prediction between an object and a visual hull, the predictor of each part of an object is found from that of a visual hull, i.e., correspondence information between an object and a visual hull is estimated. Based on this information, prediction errors are computed. The computed prediction errors are re-arranged using the connectivity information of a visual hull, and after re-arrangement, prediction errors are converted into a 2D array so that they can be encoded by a 2D image encoder. For inter-mode, an object at the current frame is predicted by a motion-compensated object reconstructed at the previous frame. To this end, a 3D block-based motion estimation of 3D objects between adjacent frames is performed. And similar to the visual hull-based, correspondence information between the current object and the previous object is estimated to compute prediction errors. Simulation results show that the proposed compression system outperforms the previous compression methods.
3차원 영상 콘텐츠는 일반적인 2차원 콘텐츠에서 느낄 수 없는 사실감과 현장감을 제공해 줄 수 있는 장점이 있다. 그 결과 3차원 영상 콘텐츠에 대한 수요가 증가하고 있으며, 영화 산업 및 TV분야에서 그 제작이 활성화되고 있다. 다양한 3차원 영상 콘텐츠 제작 기법 중, 영상 기반 객체 복원 기술은 복원하고자 하는 객체의 다중 시점 영상으로부터 해당 객체의 실루엣 정보 및 텍스처 정보를 활용하여 해당 객체의 3차원 모델을 생성하는 기법이다. 영상 기반 객체 복원 기술은 실제 객체에 대한 3차원 모델을 적은 비용으로 생성이 가능하기 때문에 많은 연구가 이루어지고 있다. 그러나 기존에 수행되었던 대부분의 연구는 정확한 객체 복원에 초점을 맞추고 있으며, 그 결과 생성된 객체 데이터를 압축하는 연구는 상대적으로 적게 수행되었다. 본 연구에서는 영상 기반 객체 복원을 통해 생성된 3차원 데이터를 비주얼 헐과 시간 축 상관도를 활용하여 압축하는 방법을 제안한다. 본 연구에서는 3차원 객체 데이터가 런렝스 부호화 기법에 기반을 둔 DoCube로 표현되어 있다고 가정하는데, DoCube는 영상 기반 객체 복원 과정을 적은 양의 메모리로 빠르게 수행하기 위해 제안된 표현 기법이다.
제안하는 압축 기법은 Intra-frame 모드와 Inter-frame mode를 지원한다. Intra-frame 모드에서는 3차원 객체의 기하정보를 해당 객체의 비주얼 헐로부터 추정한다. 비주얼 헐이란, 다중 시점 실루엣으로부터 생성할 수 있는 3차원 정보로서, image-based modeling 분야에 널리 사용되고 있다. 비주얼 헐은 3차원 객체의 형태를 비교적 잘 표현하며, 그 계산과정이 간단하다는 장점이 있다. 또한 비주얼 헐은 다중 시점 실루엣 영상으로 표현이 가능하고, 실루엣 영상은 적은 양의 데이터로 압축이 가능하기 때문에, 모델링 정보에 대한 데이터량이 적다는 장점 또한 가지고 있다. 비주얼 헐 생성을 위해서는 다중 시점 실루엣의 생성이 필요하며, 이를 위해 입력 객체를 가상의 카메라의 image plane으로 투영시키는 과정을 통해 실루엣을 획득한다. 획득된 실루엣의 수와 해상도에 따라 비주얼 헐의 정확도가 달라질 수 있고, 이는 압축 효율에도 영향을 미치기 때문에 실루엣의 수와 해상도에 따른 압축 효율의 성능을 분석하였으며, 또한 객체의 형태에 따라 적응적으로 실루엣 영상을 획득하는 기법을 제안하였다. 비주얼 헐이 생성되면, 입력 객체와 입력 객체와 비주얼 헐간의 대응 정보를 추정한다. 대응관계가 추정되면, 입력 객체의 각 성분은 대응되는 비주얼 헐의 성분으로 예측되며, 이를 통해 잔차 신호를 계산하였다. 이때 비주얼 헐이 입력 객체를 항상 포함한다는 특성을 활용하여 잔차 신호의 부호가 음수가 되지 않도록 하였다. 또한 입력 객체와 비주얼 헐간의 대응 정보를 부호화하는 코드를 제안하였다. 비주얼 헐 기반 예측을 수행하게 되면, 입력 객체는 비주얼 헐, 비주얼 헐과 입력 객체의 대응정보, 그리고 잔차신호로 부호화되게 된다. 비주얼 헐 데이터는 비주얼 헐에 해당하는 다중 실루엣 영상을 활용하여 무손실 압축되었으며, 대응 정보 또한 무손실 압축되었다. 잔차 신호의 경우 비주얼 헐의 연결성 정보를 활용하여 재배열 후 2차원 영상 코덱으로 압축하였다. Inter-frame mode에서는 이전 프레임의 객체로부터 현재 프레임의 객체의 기하정보를 예측한다. 이를 위해 인접 프레임간의 객체의 움직임 추정(motion estimation)이 필요한데, 본 논문에서는 2차원 영상에서 널리 활용되고 있는 Block Matching Algorithm (BMA)를 3차원 공간을 확장 적용하며 3차원 블록 기반 움직임 추정 알고리즘을 제안하였다. 제안된 3차원 블록은 직육면체 형태의 블록으로서 3차원 블록 간의 유사도는 3차원 블록 내에 존재하는 객체의 성분간의 대응정보를 추정한 후, 대응되는 성분간의 예측 잔차 신호의 합을 통해 계산된다. Inter-frame mode라도 모든 3차원 블록이 이전 프레임의 객체로부터 예측되는 것은 아니며, 3차원 블록이 비주얼 헐로부터 보다 정확하게 예측되는 경우 해당 블록은 비주얼 헐로부터 예측되도록 한다. Inter-frame mode을 활용하였을 경우, 입력 객체는 해당 객체의 비주얼 헐, 움직임 추정 정보, 비주얼 헐 혹은 이전 프레임에서의 객체와의 대응정보, 그리고 잔차신호로 부호화 되게 된다. 비주얼 헐 정보는 intra-frame 모드와 동일한 방법으로 압축되며, 움직임 추정정보 및 대응 정보는 무손실 압축된다. 마지막으로 잔차신호 또한 intra-frame 모드와 유사하게 재배열 된 후 2차원 영상 코덱으로 압축하였다.
실험 결과에서는 각 파라미터에 따른 제안 압축 기법의 성능을 비교하였으며, 또한 DoCube와 유사한 데이터 형태를 가진 Layered Depth Image의 압축을 위해 제안된 이전 기법들과의 비교를 수행하였다. 실험 결과 제안 기법이 다양한 3차원 콘텐츠를 효율적으로 압축하는 것을 확인하였으며, 효율적인 압축을 위해 사용이 권장되는 파라미터 정보를 추정하였다. 제안 기법은 생성된 3차원 객체의 효율적인 압축을 통해 3차원 객체의 유통에 도움을 줄 수 있으며, 그 결과 3차원 콘텐츠 시장의 활성화에 기여할 것이다.
