With a dramatic increase in CCTV cameras, person re-identification (Re-ID), which is the most promising application of intelligent video surveillance, has been studied widely. Its objective is to identify a specific person across non-overlapping cameras under various locations, and Re-ID plays a pivotal role in providing security to the public due to its usefulness and practical importance. Although some Re-ID methods have shown impressive performance in the limited environments, all of the domain issues in Re-ID systems have not been explored sufficiently. In this dissertation, we study various domain issues that may occur in real video surveillance situations and focus on effective person re-identification techniques to bridge domain gaps.
The first part is a visible-infrared person re-identification (VI-ReID) task, which aims to match pedestrians observed from visible and infrared cameras with different spectra. Since visible light cameras can not capture all the appearance characteristics of a person under poor illumination conditions, most surveillance cameras automatically switch from visible to infrared mode in dark environments. Thus, it becomes essential to consider the VI-ReID task. For this task, it is vital to reduce the domain gap between visible and infrared images. We propose a Hierarchical Cross-Modality Disentanglement (Hi-CMD) method, which automatically disentangles ID-discriminative factors and ID-excluded factors from visible-thermal images. We only use ID-discriminative factors for robust cross-modality matching without ID-excluded factors such as pose or illumination. Extensive experimental results demonstrate that our method outperforms the state-of-the-art methods on two VI-ReID datasets.
The second part is a domain generalizable person re-identification task, which aims at learning a generalizable Re-ID model only using a given source domain so that the trained model can be applied robustly in any target domain. This task is much more plausible for real-world applications since the trained model can be utilized in any situation without updates. The core issue is to bridge a seen source domain and an unseen target domain. To this end, we propose a Meta Batch-Instance Normalization (MetaBIN) method. Our main idea is to generalize normalization layers by simulating unsuccessful generalization scenarios beforehand in the meta-learning pipeline. Our MetaBIN framework prevents our model from overfitting to the given source styles and improves the generalization capability to unseen domains. Extensive experimental results show that our method outperforms the state-of-the-art methods on the large-scale domain generalization Re-ID benchmark and the cross-domain Re-ID problem.
CCTV 카메라가 급격하게 증가함에 따라서 지능형 비디오 감시 시스템의 가장 대표적인 사례인 사람 재 식별 기술이 널리 발전하고 있다. 사람 재 식별 기술은 다양한 장소의 감시 카메라에서 특정한 사람을 식별하는 것을 목표하며, 이 기술은 유용하고 실용적인 장점 덕분에 대중에게 보안을 제공하는 중추적인 역할을 한다. 비록 몇몇 사람 재 식별 기술들은 제한된 환경에서 인상적인 성능을 보였지만, 이 방법들이 사람 재 식별 시스템의 모든 도메인 문제를 충분히 다루고 있진 않다. 본 학위 논문에서는 실제 비디오 감시 상황에서 발생할 수 있는 다양한 도메인 문제들을 검토하고 도메인 문제를 해소할 수 있는 효과적인 사람 재 식별 기술에 집중한다.
첫 번째 요소는 가시광선-적외선 교차 영상에서의 사람 재 식별 기술이다. 이 분야의 목표는 서로 다른 스펙트럼을 가진 가시광선과 적외선 카메라로부터 촬영된 보행자 영상을 매칭하는 것이다. 일반적으로 저조도 상황에서 가시광선 영역의 카메라가 사람의 외형 단서를 충분히 획득하지 못하기 때문에 대부분의 감시 카메라는 어두운 환경일 때 자동으로 적외선 모드로 변경되는 시스템을 탑재하고 있다. 이에 따라 가시광선-적외선 교차 영상에서의 사람 재 식별 기술에 대한 연구는 점점 더 중요해졌다. 이 문제를 해결하기 위해서는 가시광선 영상과 적외선 영상 사이의 도메인 격차를 줄이는 것이 핵심이다. 이를 위해 가시광선-적외선 교차 영상에서 신원에 대한 단서와 신원과 관련이 없는 단서를 자동으로 분리하는 계층적 양상 분리 방법을 제안한다. 실제 테스트 환경에서는 신원과 관련이 있는 특징만을 이용함으로써 교차 영상에서의 강인한 매칭이 가능해진다. 광범위한 실험 결과는 두 개의 가시광선-적외선 교차 사람 재 식별 데이터 세트에서 제안하는 방법이 최첨단 방법을 능가한다는 것을 증명한다.
두 번째 요소는 도메인 일반화를 위한 사람 재 식별 기술이다. 이 분야는 아무 정보가 없는 타겟 도메인에서 사람 재 식별 기술이 강인하게 적용될 수 있도록 주어진 소스 도메인만을 사용해서 학습하는 것이 목표이다. 결국 어떤 상황에서도 업데이트 없이 학습된 모델을 이용할 수 있기 때문에 실제 응용에서 훨씬 합리적으로 사용될 수 있다. 이 문제의 핵심은 주어진 소스 도메인과 새로운 타겟 도메인 사이의 격차를 어떻게 해소해야할지 고민하는 것이다. 이 문제를 해결하기 위해서 메타 배치 인스턴스 정규화 방법을 제안한다. 메타 학습 과정에서 성공적이지 않은 일반화 각본에 대해서 미리 모의 실험을 진행해 봄으로써 정규화 레이어를 일반화하는 것이 주요한 아이디어이다. 제안하는 방법은 사람 재 식별 모델이 주어진 소스 도메인에 과적합되는 것을 막을 뿐만 아니라 새로운 도메인에 대한 일반화 능력까지도 향상시킨다. 대규모의 도메인 일반화 사람 재 식별 데이터 세트와 교차 도메인 사람 재 식별 데이터 세트에서 제안하는 방법이 최첨단 방법을 능가하는 것을 방대한 실험 결과를 통해 보여준다.
