Depth painting of each object in a scene is a challenging task in high-quality 2D to 3D stereo conversion. One way to estimate the depth of an object in the image is to fit a 3D model matching their silhouette and salient features. Once the registration is complete, the depth can be easily extracted from the matching 3D model. Despite the reported success of earlier pose estimation and tracking approaches that utilized similar matching techniques, this process remains tedious and labor-intensive. Previous methods still face difficulties, in particular when the 3D model is not identical to the target object or the camera parameters are not given. This paper introduces a novel template-driven depth estimation method that effectively produces plausible depth information of the object in a 2D image sequence in a stereo conversion workflow. The system first deforms a 3D template model to match the projected locations of 3D feature vertices to the locations of corresponding 2D features in the image, while the pose of the 3D model is accurately estimated by an iterative application of our technique. This is achieved by evaluating and minimizing the distortion error of the template model. The deformed model is then modified once again in order to fit to the silhouette of the target object in the image. The final 3D model can be used for re-projection and camera mapping as well as for depth estimation. The proposed method was applied to various image sequences containing objects with different appearances and varying poses. The experiments show that our method can generate plausible depth information that can be utilized for high-quality 2D to 3D stereo conversions.
인간의 눈을 모방하는 두 대의 카메라를 이용한 촬영을 통해서 입체영상을 생성 할 수 있다.
단순해 보이는 작업이지만 실제론 많은 어려움이 동반된다. 예를 들어, 두 대의 카메라를 정확하게 정렬하는 작업을 많은 시간과 노동력을 요구하며, 장치의 어려움은 항공촬영 및 초 근접촬영 등과 같은 특별한 장면에서의 어려움을 야기한다. 이것에 대안으로써 일반적인 카메라 한 대로 촬영을 한 후 입체영상으로 변환하는 방식이 있다. 입체 변환 방식은 기존의 영상물들도 입체영상으로 만들 수 있다는 장점이 있다.
2차원 동영상의 고품질 3차원 입체영상 변환 과정에서 장면에 등장하는 물체에 깊이 정보를 그리는 작업은 필수적으로 요구된다. 하지만, 작업자가 일일이 모든 장면의 깊이 정보를 그리는 것은 굉장히 까다롭고 비용이 많이 드는 작업이다. 또한, 물체의 깊이 정보를 사실적으로 표현하기 위해선 전문적인 지식을 요구한다.
본 논문에서는, 입체 변환 과정에서 임의의 물체의 깊이 정보를 효율적이고 사실적으로 생산 할 수 있는 3차원 템플릿 모델을 기반으로 한 새로운 깊이 추정 방법을 제안한다. 깊이 정보를 생성하기 위해 우리는 3차원 템플릿 모델을 1) 구조적 적합 및 2) 외관 일치 방법을 단계적으로 실행함으로서 이미지 상에 정확하게 적합하게 된다. 구조적 적합은 변형된 모델의 왜곡 오류를 반복적인 물체의 위치 및 자세 추정을 통해서 최소화가 되는 것을 보장한다. 외관 일치 방법에서는 앞서 적합된 모델을 통해서 이미상의 물체의 외곽정보를 추정 한 후, 템플릿 모델과 대상 물체의 외곽정보를 일치시키기 위해 한 번 더 템플릿 모델을 변형시킨다.
우리가 제안한 시스템을 통해서 임의의 오브젝트를 적은 수의 입력을 통해 고품질의 깊이 정보를 생성함으로서 입체 변환 과정에서 발생하는 비용 및 노동력을 절감함과 동시에 고품질의 입체영상을 생성 할 수 있다. 또한, 제안된 기하학적인 접근은 텍스쳐 매핑, 이미지 에디팅, 이미지 합성과 같은 분야로 응용 및 확장 될 수 있다.
