Recently, multi camera tracking (MCT) is becoming an issue with development of camera technology and its demand. Needs of autonomous surveillance system is increasing due to rapid size growth of surveillance video data. Main problems of MCT can be grouped into two categories, tracking a target and re-identifying the target after camera transition.
There are many challenges for human tracking in a public space. Human tracking is a problem of tracking an object with diverse poses and appearances. Moreover, in a crowded public space, people intersect each other or walk along together in a crowd. Sometimes it is hard to track people with similar appearances.
Re-identification is also one of very challenging topic in computer vision. Identifying a human with images is difficult as a human appearance differs depending on view angles. It becomes more challenging when there are illumination change, scale change and appearance variations due to profile change.
In this thesis, we address the problem of detecting, tracking and identifying multiple people over multiple cameras in a public space. We propose a online multi target tracker (MTT) that tracks people in a crowd scene with online classifiers that learns appearance of people. By tracking people in the scene, we can get occlusion information by measuring the overlaps between the trackers. With the classifier and occlusion decision, the proposed MTT handles the tracking problems present in a crowd public scene.
During and after tracking, re-identification algorithm re-identifies the target. Re-identification uses image patches extracted from the MTT. Unlike re-identification benchmark datasets, image patches from the MTT includes misaligned image patches. We propose a clean foreground extraction algorithm to align image patches and improve re-identification performance. With the proposed MTT and foreground extraction, we constructed the MCT system and showed the performance of the system on practical MCT scenarios.
본 학위 논문에서는 복잡한 환경에 적합한 다중 카메라 추적 시스템을 제안한다. 이전 까지 다중 카메라 추적 시스템은 한 장소를 여러대의 카메라에서 다각도 촬영한 영상을 기반으로 연구되어 왔다. 실제 환경에서 감시 카메라들이 감시하는 영역은 공통된 공간이 없는 경우가 많다. 제안하는 다중 카메라 추적 시스템은 감시 환경에 적합한, 시야 공유가 없는 카메라들을 이용해 사람을 추적한다. 다중 카메라 추적 시스템은 크게 추적기와 사람 재인식기, 두개의 모듈로 구성되어 있다. 추적기는 복잡한 환경에서 추적이 가능하도록 설계되었고 사람 재인식기는 기존의 연구를 시스템에 적합하게 개선시켰다.
시야 공유가 없는 다중 카메라 추적을 위해서는 몇 가지 어려운 문제들을 해결해야 한다. 공공 장소에서의 사람 추적은 카메라의 원근감, 사람간의 교차와 가려짐 그리고 비슷한 외모의 군중들로 인한 복잡한 환경에서의 추적이 가능해야 한다. 이러한 난이도 높은 환경에서 사람을 추적하기 위해 다중 축척 검출기와 사람 외모에 기반한 분류기를 제시한다. 다중 축척 검출기는 카메라의 원근감 때문에 영상에서 사람의 크기가 변화 할 때에도 검출이 가능하게 한다. 외모 기반 분류기는 비슷한 외모의 사람들이 서로 교차 할 때 추적기가 혼동하지 않고 올바른 대상을 추적하도록 돕는다. 다중 물체 추적이 진행 되는 동안에 가려짐 검출기가 지속적으로 작동하면서 추적 대상의 가려짐에 대한 상태를 지속적으로 업데이트 한다.
사람 재인식은 시야 공유가 없는 카메라들에서 얻어진 사람 영상을 기반으로 재인식을 수행하는 연구이다. 하지만 이제까지의 사람 재인식 연구는 연구자들에 의해 직접 추출된, 사람이 가운데에 정렬 되어있고 가려짐이 없는 영상 데이터셋을 기반으로 이루어져 왔다. 실제 다중 물체 추적 시스템에서 재인식기는 추적기로부터 추출되는 사람 영상을 가지고 재인식을 수행하게 되는대 이 때 추적기에서 얻어지는 영상들은 가려짐이 포함되고 사람이 가운데에 정렬되어 있지 않다. 사람 재인식기가 제 성능을 내기 위해서는 추적기에서 얻어지는 가공되지 않은 영상들을 다듬어야 한다. 가려짐이 포함된 영상들은 가려짐 검출기를 이용하여 걸러내고 영상 정렬을 위해서 전경 추출을 하였다. 전경 추출에는 신경망 기반의 연구에 수퍼픽셀을 적용하여 깔끔한 전경 추출 방법을 제시했다.
제안된 추적기는 두개의 데이터셋; i-LIDS MCT 와 PETS2009에 대해서 평가되었다. i-LIDS MCT 데이터셋은 실제 감시 카메라에서 촬영된 난이도 높은 영상들을 포함하고 있으며 단일 목표 추적을 위한 데이터셋이다. i-LIDS MCT에서 89개의 다양한 비디오에 대해서 추적기 성능을 평가하였으며 평균적으로 높은 F1 score를 보였다. 또한 정성적 평가에서 다른 일반 추적기들에 비해서 더 좋은 성능을 보였다. PETS2009는 다중 물체 추적기 성능 평가에 자주 사용되는 데이터셋으로서, 해당 데이터셋을 이용하여 많은 다중 물체 추적기들의 성능 평가와 비교가 이루어져있다. PETS2009에서 제안한 다중 물체 추적기의 성능은 비교된 다른 다중 물체 추적기들과 비슷한 성능을 보였다. 추적기와 재인식기의 통합 시스템은 i-LIDS MCT 데이터셋에 대해서 평가되었으며 제시한 전경 추출 방식을 적용하여 성능이 개선되었음을 보였다.
