Person re-identification (Re-ID) is a popular task in video surveillance and robotic applications, and targets the retrieval of an expected pedestrian image that has the same identity as the query image. The use of cameras at night or in dark environments is common in real-world scenarios. When lighting conditions are poor or unavailable, RGB cameras cannot capture sufficient information, and most camera system would turn to infrared camera mode. Thus, RGB-IR cross-modality Re-ID is introduced for robust person identity retrieval under flexible illumination conditions. However, RGB-IR Re-ID has an additional modality variance issue, originated from the different imaging processes of spectrum cameras. This called “cross-modality variance” and it makes RGB-IR Re-ID research very challenging. However, RGB-IR Re-ID suffers from not only a cross-modality variance, but also “human pose variation” which is a conventional challenging issue in Re-ID tasks. The pose information is an important factor with respect to improving the performance of RGB-IR Re-ID. Existing studies have focused mainly on addressing the cross-modality variance, and the pose information is rarely exploited. In this thesis, RGB-IR Re-ID systems are newly proposed, and they can cover not only cross-modality variation but also human pose variation through a generative adversarial network (GAN)-based approach. RGB-IR Re-ID systems are proposed based on two GAN-based approaches: The single-generator based approach and the two-separate generator-based approach. Both proposed systems deal with the pose variance issue by introducing a pose transfer module, which generates a new target pose-transferred image. The pose transfer module is first verified to have effective performance increments when applied to the RGB-IR Re-ID system. In addition, the effect of the pose transfer module depending on the intensity of the pose variance is confirmed. Pose transfer has a valid effect on all pose variance level cases. They show the greatest increment in the high pose variance gallery set. Finally, it was possible to verify which approaches show better performance in a real robotic application. The single-generator based approach exhibits a better performance with a Rank-1 accuracy set to 40.5%, and it is the final proposed model. The proposed model is expected to be robust in a real scenario where the pose variance is large, such as robotic applications.
사람 재 식별 기술은 비디오 감시 및 로봇 애플리케이션에서 널리 사용되는 기술입니다. 쿼리 이미지와 동일한 ID를 갖는 이미지 검색을 목표로 합니다. 밤이나 어두운 환경에서 카메라를 사용하는 것은 실제 시나리오에서 일반적인데, 조명 상태가 좋지 않거나 사용할 수 없는 경우 RGB 카메라는 충분한 정보를 캡처할 수 없습니다. 이때, 대부분의 카메라 시스템은 적외선 카메라 모드로 전환됩니다. 따라서, 유연한 조명 조건에서 강력한 재 식별 기술을 만들기 위해 RGB-IR 교차 양식 Re-ID가 도입되었습니다. 그러나 RGB-IR Re-ID에는 카메라 센서의 이미징 프로세스에서 비롯된 추가적인 양식 차이 문제가 존재합니다. 이를 "교차 양식 차이"이라고 하며 RGB-IR Re-ID 연구를 매우 어렵게 만듭니다. RGB-IR Re-ID는 교차 양식 차이 뿐만 아니라 Re-ID 작업에서 전통적인 연구 이슈인 "인간 포즈 변동"으로 인해 어려움을 겪고 있습니다. 포즈 정보는 RGB-IR Re-ID의 성능 향상과 관련하여 중요한 요소입니다. 기존 연구들은 주로 교차 양식 분산 문제를 해결하는 데 중점을 두었으며 자세 정보는 거의 활용되지 않습니다. 위 논문에서는 RGB-IR Re-ID 시스템이 새롭게 제안되었으며, 교차 양식 차이 뿐만 아니라 GAN (generative adversarial network) 기반 접근법을 통한 자세 차이 이슈도 다루고 있습니다. RGB-IR Re-ID 시스템은 두 개의 GAN 기반 접근 방식 (단일 생성기 기반 접근 방식과 두 개의 별도 생성기 기반 접근 방식)을 기반으로 제안됩니다. 제안된 시스템은 포즈 전달 이미지를 생성하여 포즈 차이 문제를 처리합니다. 위 연구에서 포즈 전달 생성기 모듈이 RGB-IR Re-ID 시스템에 적용될 때 효과적인 성능 증가를 갖는 것을 검증하였습니다. 또한, 포즈 차이의 강도에 따른 포즈 전달 모듈의 효과가 추가적으로 확인되었습니다. 포즈 전달 생성기 모듈은 세가지 포즈 차이 레벨의 경우에서 모두 유효한 성능증가가 있음을 확인하였고 특히, 높은 포즈 차이 레벨에서 가장 큰 효과를 보여줍니다. 마지막으로 실제 로봇 응용 프로그램에서 제안한 두가지 접근 방식 중 어떤 접근 방식이 더 나은 성능을 나타내는 지 확인하였습니다. 단일 생성기 기반 접근 방식은 Rank-1 정확도가 40.5 %로 더 나은 성능을 보였으면 위 연구의 최종 제안된 모델이 됩니다. 제안된 모델은 로봇 애플리케이션과 같이 포즈 분산이 큰 실제 시나리오에서 강력할 것으로 예상됩니다.
