Object tracking is crucial to surveillance systems, which provide target information including position, size, and velocity. To improve tracking performance, this thesis presents a filtered spatiotemporal prediction and adaptive visual similarity adjustment based on the human object recognition process. The proposed data association process combining two primary components of visual features and spatiotemporal prediction. In addition, the change perception and the visual distinguishability are utilized to adaptively combine the two primary components. The proposed spatiotemporal prediction is performed on several consecutive frames in order to cover the irregular motion of targets. The prediction is then filtered with a change perception mask to determine whether the candidate observations have motion or not. In addition, the level of contribution of a visual feature is adjusted by the proposed distinguishability to maintain a reward-penalty balance. The proposed method is applied to various video sequences having small targets and abrupt motions, and the experimental results show consistent tracking performance.
물체 추적은 인간의 개입 없이 자동적으로 표적의 위치, 크기 및 속도를 포함한 표적의 정보를 제공하는 감시 시스템에서 중요한 역할을 한다. 많은 추적 알고리즘들은 표적의 시각적인 특성과 시공간적인 예측의 두 가지 주요 정보를 이용하여 표적 추적을 수행한다. 그러나 일반적으로 표적이 비정규적인 운동을 한다면 추정한 시공간적인 예측이 불안정해질 수 있다. 물체의 시각적인 특성은 시각적 유사도를 이용하여 각 표적의 ID를 제공하는 역할을 하지만, 이 또한 표적들의 시각적 구별능력이 낮을 때 각 표적의 ID를 제대로 구분할 수 없게 된다. 이러한 악화된 추적 환경에서 추적의 성능을 높이기 위해 본 논문에서는 인간의 물체 인식 과정을 기반으로 하여 필터링된 시공간적 예측과 적응적인 유사도 조정을 제안하였다. 제안 방법에서 시공간적 예측은 비정규적인 표적의 움직임을 고려하여 여러 개의 참조 프레임을 이용하여 수행된다. 이러한 예측은 비정규적 움직임을 예측할 수 있지만 또한 클러터와의 Data association을 할 위험 요소가 있기 때문에 실제 영상 내에 움직임이 존재하는지의 여부의 정보를 제공해주는 프레임간 변화 인지 영역을 찾아서 필터링된다. 일반적으로 추적환경 내에 시각적으로 비슷하지만 서로 다른 물체가 존재하는 경우, 물체의 시각적인 특성이 표적 ID를 결정하는데 미치는 영향은 감소된다. 즉 이러한 경우 시공간적인 예측이 시각적 특성보다 우월하게 작용하여 표적 추적을 수행하게 된다. 따라서 추적환경 내에 존재하는 표적들의 구분 능력에 따라 적응적으로 시각적 유사도의 기여도를 조절하는 Distinguishability를 제안하였다.
제안하는 방법은 다양한 비디오 시퀀스에 적용이 되었으며 관찰 모델을 강화한 파티클 필터, 급격한 움직임 변화에 강인한 WLMCE 방법, P-N 학습과정을 통해 추적 알고리즘의 성능을 향상시킨 TLD 방법들과 비교되었다. 표적들의 구분이 가능하고 각 표적의 움직임이 안정적인 일반적인 시퀀스에서는 제안하는 방법이 기존 방법들과 유사한 추적 성능을 보였으나, 물체가 빠르게 움직여서 비정규적인 운동을 하는 시퀀스에서 기존의 방법들은 물체의 ID를 결정하는데 불안정적인데 반해 제안하는 방법은 각 표적의 ID를 유지하며 잘 추적함을 확인하였다. 표적의 움직임도 비정규적이며 표적 자체의 크기가 매우 작아서 구분 능력이 없는 추적 환경이 악화된 시퀀스에 대해서도 제안하는 방법은 안정적으로 표적을 추적하였다.
본 연구에서는 물체의 크기가 매우 작거나 혹은 물체간 구별능력이 떨어지는 등의 시각적 특성이 불안정하거나 불충분한 조건에서 강인한 추적 결과를 보이며, 이러한 시각적 특성에 제한을 두었으므로 정적 카메라 환경을 가정하였다. 그러나 제안하는 방법이 적용되기 이전에 영상 안정화 기법등이 전처리 과정으로 구현된다면 움직이는 카메라 환경에서도 다중 표적을 안정적으로 추적할 수 있다. 또한 제안하는 라이클리후드 모델은 네 가지 요소들을 기반으로 하여 인간의 물체인식 과정을 모사하였으며, 각 요소 이외에 인간이 물체를 인식하는데 쓰이는 추가적인 정보들 (깊이 정보, 영상 분할 정보, 미리 학습된 물체의 모양 정보 등)이 함께 고려된다면 더욱 강인한 추적 성능을 보일 수 있다.
