Although 3D volumetric reconstruction of an object from given multiple photographic images is already an old and challenging task in computer vision and computer graphics, it remains one of the most difficult problems. Generally, the volumetric structure of a dynamically changing scene can be reconstructed to a certain degree if its material characteristics, illumination, and geometric constraints are carefully considered in the case that we take pictures of a static scene using moving cameras or of moving objects in a scene using multiple fixed cameras.
In this paper, we propose a new method that processes multiple synchronized image sequences taken from several cameras and generates a 3D rendered scene of dynamically moving objects. We construct and shade a 3D model of the object from silhouette images by combining the image-based visual hull method and view morphing method which is the basis of image-based rendering.
The proposed hybrid method improves the speed and the quality of the previous visual hull based 3D reconstruction method proposed by Matusik. It provides an efficient image based 3D scene reconstruction scheme, which renders dynamically changing real-world scenes in real time and provides a silhouette extraction scheme that is robust to illumination change. The system based on this method is relatively low-cost and does not require any special hardware device or specific environment.
In the experiment we take pictures of a person making some gestures using 4 cameras and generate the 3D model and images of the person at a new viewpoint. For the purpose of acquiring high-quality 3D data in real-time, we speed up our system by using a line caching mechanism and the hybrid method of combining the visual hull method and the image-based rendering, while we enhance the accuracy of 3D result by calculating intersection points with epipolar lines exploiting the curved form of silhouette boundaries. The experimental result shows that our method enhances the speed of 3D reconstruction by about 3 times compared to the previous visual hull sampling method proposed by Matusik.
어떤 물체에 대한 실제 사진 영상들이 주어졌을 때 그 물체의 3차원 그래픽 모델을 사실적으로 재구성하는 일은 컴퓨터 비젼과 그래픽스 분야에서 오랫동안 연구되고 있는 도전할 만한 문제이지만, 여전히 가장 어려운 문제 중의 하나로 남아 있다. 일반적으로 어떤 장면의 물체들이 움직이고 있는 것을 촬영하거나 카메라가 움직이면서 어떤 장면을 촬영하는 경우에는 그 장면에 대한 기하학적 구조, 조명, 물체의 재질(material) 등을 자세히 살펴보면 그 장면의 3차원 구조를 어느 정도 복원할 수 있다.
본 논문에서는 여러 카메라로부터 촬영된 동기화된 순차적인 영상들을 처리하여 동적으로 움직이는 물체를 대상으로 3차원 장면을 생성하는 새로운 방법을 제안한다. 우리는 영상기반 시각피(image-based visual hull) 방법과 영상기반 렌더링(image-based rendering) 방법의 장점을 결합하여 실루엣 영상들로부터 물체들에 대한 3차원 모델을 생성하고 렌더링한다.
제안된 융합(hybrid) 방법론은 Matusik에 의해 제안된 이전의 visual hull 기반의 3차원 복원의 속도와 품질을 향상시킨다. 그 방법론은 효율적인 영상 기반 3차원 장면 복원 기능을 제공하며 동적으로 변화하는 실 세계 장면을 실시간으로 렌더링 할 뿐만 아니라 조명 변화에 강인한 실루엣 추출 기능을 제공한다. 이 방법에 기초한 시스템은 가격이 비싸지 않으며 특수한 하드웨어 장치를 필요로 하지 않으며 특정한 환경에 제약을 받지 않는다.
실험에서 4개의 카메라를 사용하여 제스처를 하고 있는 사람을 대상으로 사진을 촬영하여 그 사람에 대한 새로운 시점에서의 3차원 모델과 영상들을 생성해 낸다. 실시간으로 품질이 좋은 3차원 데이터를 얻기 위하여 조명 변화에 무관한 실루엣 영상들을 추출한 후, visual hull과 image-based rendering을 결합한 hybrid 방법과 line caching을 이용하여 속도를 향상시키고 있으며, 곡선 형태의 실루엣 외곽선을 활용하여 에피폴라 라인과의 교차점을 구함으로써 3차원 데이터의 정확성을 향상시키고 있다. Matusik이 제안한 기존의 visual hull sampling 방법의 속도를 3배정도 향상 시켰으며 더 나은 품질의 결과 영상을 얻을 수 있었다.
