Current state-of-the-art multi-view object segmentation techniques are reached under controlled
capture conditions such as super multi-cameras which have a dozen views or more, and physically aligned
stereo-camera. In these conditions, multi-view object segmentation problems are addressed by using
inter-view shared color appearance. However, it is challenging problem, when the number of view is
small, and view-points far apart. In this paper, we present the hybrid approach using a low-cost RGBD
camera for multi-view object segmentation in sparse wide-baseline capture environment to address the
intrinsic limitation of color cameras. To keep inter-view consistency of color images which have very
sparse color similarity, our local depth mapping method generates inter-view correspondences using depth
information. We evaluate the quality of inter-view consistency of our results according to the number
of cameras and depth samples, rotation and distance. Also, we thoroughly compare the state-of-the-art
method using the standard multi-view data set. Compared results demonstrate proposed methods are
excellent especially in sparse wide-baseline capture environment.
기존의 다시점 객체 분리에 관한 기술은 10대 이상의 카메라를 활용하거나, 스테레오 카메라와 같이 물리적으로 결합된 제한된 촬영된 환경에서 이루어져 왔다. 이러한 환경에서 시점 간의 공통된 컬러 형태의 추출을 통한 분리가 이루어졌다. 하지만 카메라 대수가 적고 시점 간의 거리가 멀어질 수록 다시점 이미지의 공통된 객체를 분리하는 것은 어려운 문제이다.
본 논문에서는 2~3대의 일반 카메라와 키넥트와 같은 저비용의 깊이 카메라가 결합된 시스템을 제안함으로써, 객체 분리에서 컬러 카메라가 가지는 한계점을 극복하고자 한다. 시점 간의 컬러 유사성이 매우 적은 다시점 이미지의 일관성을 유지하기 위해, 우리의 지역적 깊이 정보 매핑 기법을 이용해 새로운 대응 영역을 생성한다. 생성된 대응영역 간의 컬러와 깊이정보 차이를 통해 지역적으로 적응된 에너지를 생성함으로써, 시점 별 일관성을 더 강하게 유지한다.
우리의 객체분리기술은 카메라 간의 각도, 거리에 따라 측정함으로써, 객체분리가 가능한 카메라 촬영환경을 철저하게 분석한다. 또한, 표준화된 다시점 이미지들을 활용하여, 기존 기술과 정확도를 비교함으로써 객체분리의 품질을 측정한다. 비교된 결과물은 특히 카메라 대수가 적고 간격이 넓은 촬영환경에서 좋은 품질을 생성함을 입증한다.
