In this paper, we propose a robust real-time head tracking algorithm using a pan-tilt-zoom camera. The proposed algorithm uses color, shape and quasi-spatial information for tracking. Based on the pre-obtained color histogram of a model, the proposed algorithm estimates the position of a target ellipse by maximizing the color histogram similarity (CHS) using the mean shift procedure, and adaptive gradient ascent method. And then it refines the scale so that the sum of gradient values near the boundary and the spatial color histogram similarity may be maximized. In the following frame, the initial position is selected at the same position of the ellipse in the previous frame.
CHS is measured between the candidate color histogram and reference color histogram. Here, the reference histogram is obtained by combining the color histogram of the model and that of the tracking result in the previous frame. Thereby, the reference histogram partly reflects the recent change of the color of the target. The color histogram of the tracking result in the previous frame has not been usually used since the unwanted background color could be included into the reference color histogram due to the inaccurate positioning of the ellipse. To avoid this problem, we shrink the size of the ellipse of the previous frame adaptively to alleviate the unwanted error.
For reliable tracking, an initial ellipse position should be near the target position. However, when the moving direction of the target changes drastically against that of the tracking camera, the background motion in the consecutive two frames is considerable. It often makes the initial position far from the target position; thereby the position may not converge to the target position. To alleviate the problem, we estimate a new initial position by compensating the background motion. To reduce the computational burden of motion estimation, we use vertical and horizontal 1-D projection datasets. In estimating the accurate position and scale of a target, the information of spatial color distribution is required. However, color histogram presents just the global distribution of colors. In this paper we newly define a spatial color histogram for the refinement process.
Extensive experiments have been performed under various circumstances. The results show that the proposed algorithm provides good performance in real-time. A head is well tracked even when the person moves fast and the scale of the head changes drastically. The algorithm is considered suitable for tracking a person for identifying the face in a surveillance system.
최근 감시 시스템 및 HCI(Human Computer Interaction) 분야에 대한 연구에 관심이 집중되면서 객체 추적에 대한 많은 연구가 수행되고 있다. 본 논문에서는 칼라와 모양, 준공간 정보를 이용한 실시간 머리 추적 알고리즘을 제안하였다. 사람의 머리는 다른 부위에 비해 움직임에 대한 모양 변화가 적고 사람 마다 비슷한 칼라를 가지기 때문에 정의한 모델을 사용하여 임의의 사람을 추적할 수 있다는 장점을 가진다. 본 논문에서 사람의 머리는 단축과 장축의 길이비가 일정한 타원으로 가정되었으며 여러 사람의 머리로부터 미리 얻어진 모델칼라 히스토그램을 사용하여 추적이 수행된다.
본 논문의 추적 시스템은 크게 칼라 정보를 이용한 위치 검색 단계와 칼라와 모양, 준공간 정보를 이용한 위치 및 크기 재조정 단계로 나뉘어 진다. 칼라 정보를 이용한 위치 검색 단계에서는 mean shift라는 적응적 경사도 상승 최적화(adaptive gradient ascent optimization) 방법을 이용하여 빠르게 머리의 위치를 추정한다. 그리고 칼라와 모양, 준공간 정보를 이용한 위치 및 크기 재조정 단계에서는 칼라 정보를 이용한 위치 추정 결과 주변의 국부 영역 내에서 현재 머리에 가장 적합한 위치와 크기로 재조정을 수행한다.
추적 시스템은 팬-틸트-줌이 가능한 능동카메라로 구성되어있다. 이러한 능동카메라를 이용한 객체 추적 시스템에서는 카메라 제어를 위해 정확한 머리의 위치와 크기 추정이 필수적이다. 따라서 본 논문에서는 머리의 위치와 크기를 견고하고 정확하게 추적하기 위한 세가지 기법을 제안하였다.
첫 번째로 mean shift에서의 수렴영역을 정의하였다. Mean shift 방법은 기존의 많은 객체 추적 알고리즘에서 사용하는 방법으로서 mean shift의 수렴성은 기존의 연구에서 증명되다. 하지만 이는 전역 최대점이 아닌 국부 최대점으로의 수렴을 의미하기 때문에 제한적이다. 따라서 본 논문에서는 추적 후보가 mean shift 방법으로 올바른 추적 목표에 수렴하기 위한 조건으로 수렴영역을 정의하였다. 능동카메라를 사용한 객체 추적의 경우 실시간으로 카메라가 제어되기 때문에 큰 배경 움직임으로 인하여 mean shift의 초기 위치가 수렴영역에서 벗어나는 경우가 빈번하게 발생한다. 따라서 이러한 배경 움직임을 실시간으로 보정하기 위한 알고리즘으로 투사 움직임 추정기법을 제안하였다.
두 번째로 적응적인 이전 추적 결과의 칼라 정보 추출법을 제안하였다. 칼라 정보를 이용한 많은 추적 알고리즘에서 모델의 칼라 정보를 이용한 추적을 수행하지만 모델의 칼라 정보는 움직임과 회전 등으로 변하는 추적 목표의 칼라 변화를 수용하는데 한계가 있다. 따라서 이전 추적 결과의 칼라 정보를 이용하는 것이 요구되지만 오류 누적의 이유로 기존의 연구에서는 사용되지 않고 있다. 따라서 본 논문에서는 모델의 칼라히스토그램과 이전 추적 결과의 칼라히스토그램 유사도인 Bhattacharyya 계수 값을 이용하여 타원을 적응적으로 축소시켜 칼라 히스토그램을 추출한다. 이러한 방법으로 오류 누적을 방지할 수 있다.
세 번째로 준공간 정보를 이용을 위한 공간칼라히스토그램을 정의하였다. 일반적인 칼라히스토그램은 객체의 전역적인 칼라 분포만을 나타내기 때문에 위치에 따른 칼라 분포를 나타내지 못 한다. 따라서 공간칼라히스토그램에서는 칼라히스토그램에 공간이라는 차원을 더하여 칼라 분포를 표현한다. 이를 재조정 단계에 적용하여 더 정확한 머리의 위치와 크기를 추정할 수 있음을 확인하였다.
다양한 환경에서의 실험을 통하여 제안하는 알고리즘은 견고하고 정확하게 머리의 위치와 크기를 추정하는 것을 확인하였다. 제안한 알고리즘은 감시 시스템 및 HCI 분야에 다양하게 응용될 수 있을 것으로 기대된다.
