Object extraction from multiple different view points is useful in many applications. In multi-view stereo, extracting object silhouettes is a fundamental step for 3D reconstruction. Multiview object extraction is also useful in surveillance camera system to extract moving objects and it is also important in movie industry to extract high quality foreground matte from different view points for special effects.
In this thesis, we present a method to extract foreground object with a complex boundary by using cameras from multiple view points. We consider the foreground objects are within the visual hull of cameras, which is called closed space of interest. Given this initial assumption on background pixels, we first vote for exact foreground pixels consistently across different view points by using the multi-view geometric constraint, and build a color model to assign an appropriate probability in the conventional manners. We optimizes the result from this color and geometric information in an iterative way, and after convergence and refinement, we can finally extract foreground object fully automatically.
In the algorithm, we especially preserve a local characteristic of pixels in 5 dimensional feature space having 2 dimensional image coordinates and 3 dimensional, converted color values. In order to do this, regions for updating new color models are computed at every iterations, and based on the region, clusters start to form for foreground and background classes in a hierarchical structure. Another contribution on the related field is to have adaptive weighting for the formulated Gibbs energy function, so that the iteration is terminated when the pixels labeled as foreground show no more ghosting effect. The effect is caused by the wrong hypothesis at a certain iteration and measured by the difference between angular weighted color and observed color. In addition, our approach includes the soft matting constraint to preserve neighborhood smoothness. Therefore, we can naturally extract foreground object with fractional boundaries.
The effectiveness of our approach is demonstrated using challenging examples. It includes two sets of static objects, dynamic objects and objects with a complex boundary. The experiments with these dataset are qualitively conducted for several points and quantitively compared with previous works.
본 논문에서는 다시점 카메라에 의해 획득된 객체를 모든 시점의 배경으로부터 분리하는 알고리즘이다. 이것은 카메라 시야각에 형성된 닫힌 공간 밖에 있는 칼라 샘플들과 비슷한 픽셀을 지워나가고, 동시에 모든 시점으로부터 전경이라고 생각되는 영역을 검출하게 된다. 그리고 이때의 전경의 외각선은 근처의 샘플들간의 관계에 따라 실수값으로 다시 추정된다.
이를 위하여, 먼저 카메라들은 보정되어 있어야 하며, 목표가 되는 물체는 관심 공간 내에서 구별되는 색을 가질 수록 유리하다. 기존 연구는 배경에 대한 강한 가정으로 적용이 제한되거나 혹은 이를 해결하기 위해 도입된 반복적 그래프컷의 수렴되는 영역이 초기 파라메터와 주관적인 종료 조건에 의해 결정되기 쉬웠다.
하지만 본 논문에서는 배경에 대한 어떠한 가정 없이 문제를 다루었고, 또 칼라 정보와 기하학적 정보에 대한 에너지 항이, 전/배경으로부터의 히스토그램 비교 그리고 겹쳐짐 현상 평가에 의해 조절되며, 이에 따라 수렴 점이 안정해진다. 또한 제안되는 투표 기반 모델 갱신 영역 결정과 함께 영상을 이미지 좌표와 변환된 칼라값의 벡터로 표현하고, 이를 상향식의 계층적 클러스터링을 사용하여 칼라 모델을 만들었다.
뿐만 아니라 기존의 연구들은 비교적 외각선이 단순 물체로 적용을 한정시키지만, 제안되는 시스템은 추출되는 객체의 외각선을 실수값으로 추정한다. 모든 과정에서 사용자의 입력을 요구하지 않으며, 그러면서도 현재 나와있는 알고리즘들과 비슷한 결과를 보여주거나 혹은 더 좋은 성능을 나타낸다.
마지막으로 제안되는 알고리즘의 질적, 양적 평가를 제공받거나 혹은 직접 획득한 총 6개의 데이터 셋을 통해 평가하였다.
