Foreground extraction is a fundamental and challenging issue in computer vision community. There are many foreground extraction methods using background model, foreground model or motion model. But these methods are not suitable for moving cameras under dynamic scene condition.
This thesis is aimed at foreground extraction using multi-feature integration. When we take an image, we usually focus on a foreground object and background region becomes blurred. In this condition, we combine blur, spatial gradient and motion information to extract foreground regions.
In this thesis, two new blur features are developed. One is for single input image, and another is for two input images: 1) single blur feature; 2) relative blur feature. For single image, the single blur feature divides the distribution of blur level into foreground and background in one image using EM algorithm. This feature is robust to global blur level changes. For two-view analysis, the relative blur feature uses the difference of blur level between two images: one image is focused at foreground, and another image is focused at background.
Foreground extraction using multi-feature integration is done in three steps: 1) shape filter based feature integration; 2) random forests based classification; 3) optimization by graph cut. A shape filter based process produces feature vectors.
The performance of the algorithm is validated using various input images. We show that the results using single blur feature are better than the results using relative blur feature.
전경 추출은 컴퓨터비젼 분야에서 기본적이고 도전적인 주제이다. 지금까지 배경 모델, 전경 모델, 모션 모델 등을 이용한 다양한 전경 추출 방법들이 연구 되어 왔다. 하지만 이러한 모델을 사용한 방법들은 움직이는 카메라 환경하에서 동적 배경을 가지고 있는 영상으로부터 전경을 추출하기가 어렵다.
본 논문은 다중 특징량을 통합하여 전경을 추출하는 것을 목표로 하고 있다. 보통 영상을 획득할 때에는 전경에 초점이 맞춰져 있고 배경은 흐려지게 된다. 이러한 환경에서 블러, 공간 변화량, 모션 정보를 이용하여 전경 영역을 추출한다.
본 논문에서는 단일 영상으로부터 구하는 단일 블러 특징량과 두 영상으로부터 구하는 상대적 블러 특징량, 이렇게 두 가지의 새로운 블러 특징량을 제안한다. 단일 블러 특징량은 EM 알고리즘을 이용하여 한 영상에서의 블러 레벨의 분포를 전경과 배경으로 구분한다. 이 특징량은 전체적인 블러 레벨의 변화에 강인하다. 상대적 블러 특징량은 전경에 초점이 맞은 영상과 배경에 초점이 맞은 영상간의 블러 레벨의 차이를 이용하여 단일 블러 특징량보다 좋은 결과를 보여준다.
다중 특징량 통합을 이용한 전경 추출은 다음과 같은 세 가지 단계에 의해 이루어진다: 1) 형상 필터 기반의 다중 특징량 통합; 2) 랜덤 포레스트를 이용한 분류; 3) 그래프 컷을 이용한 최적화.
다양한 입력 영상에 대한 실험을 통해 제안한 방법의 성능을 입증한다. 상대적 블러 특징량을 이용할 때의 성능과 단일 블러 특징량을 이용할 때의 성능을 비교하여 상대적 블러 특징량의 우수성을 입증한다.
