For efficiently exploiting the bulk of information obtained from city-wide CCTV systems, object (pedestrians, vehicles) tracking and re-identification across multiple cameras are essential tasks. Object re-identification (ReID) has extensive utility for analyzing and accurately merging objects' trajectories across multiple non-overlapping cameras. Despite being a very fertile ground for research which attracted growing attention in the past decades, re-identification is still considered a very challenging problem. Moreover, most available datasets contain unoccluded target images and thus the networks trained on them fail to generalize to practical examples where occlusions and various artifacts are common.
In this work, we propose an adversarial training strategy to robustify re-identification for occluded person and vehicle images in intelligent surveillance systems. Our method adversarially learns to generate occlusion masks that diminish the re-identification network performance, thus challenging its adversary, the re-identification network, to enhance re-ID performance against physical occluders.
Extensive experiments performed on public datasets as well as a personally collected dataset verify the effectiveness of the proposed approach.
전도시적으로 설치된 CCTV에서 생산되는 막대한 양의 데이터 처리를 효율적으로 진행하기 위해서, CCTV간 물체 추적(object tracking) 및 물체 재확인(re-identification task, 이하 re-ID)에 대한 연구는 필요하다. 그 중 re-ID은 CCTV 간의 중첩되는 영역이 없는 어려운 상황에서도 추적 대상(object)의 경로(trajectory)를 분석한다는 점에서 그 의의가 있다. 이를 해결하고자 많은 선행 연구가 있어왔지만 여전히 re-ID는 풀어내기 어려운 작업으로 여겨진다. 이러한 이유는 기존의 데이터셋(dataset)들이 제공하는 영상에는 추적하고자 하는 대상의 전신(unoccluded)이 보이는 환경이 많아 실제 환경에서 적용하였을 때는 추적 대상이 일부만 보이는(occluded) 경우가 있어 re-ID 에 실패할 가능성이 높게 된다.
이번 학위 논문은 일부 가려진 보행자와 차량을 촬용한 다중 CCTV에서의 강인한 re-ID 방법론을 제시한다. 본 방법론은 대립적(adversarial) 학습 기법을 도입하여 가림 영역(occlusion mask)를 생성하여 기존 데이터셋(dataset)에서 제공되는 조건보다 더 어려운 환경을 의도적으로 만든다. 그후 re-ID 네트워크(network)가 어려운 환경 속에서 학습하도록 유도, 이를 통해 최종적으로 가리어진 조건 속에서도 강인한 re-ID 방법론을 제시한다.
포괄적인 실험을 통해 본 방법론은 일반적인 환경에서의 여러 데이터셋(dataset) 및 해결하고자 하는 특정 환경 모두에서 높은 정확도를 보였다.
