Multispectral pedestrian detection using both visible and thermal images shows good detection performance. However, there are several problems in applying it to real-world applications. In this paper, we propose a novel thermal image based pedestrian detection method that utilizes visible images appearance information during the inference time. In the proposed method, a cross modal Region of Interest memory(RoI) is proposed to store visible and thermal image region of interest information during the training phase. Then, at the inference time, the visible image information is read from the cross modal RoI memory using the thermal image. Therefore, even if there is no input visible image, high-performance thermal image based pedestrian detection is performed by utilizing the complementary information of thermal-visible image. The proposed method achieves state-of-the-art pedestrian detection performance in pedestrian detection using only thermal images during the inference time. In addition, the proposed method shows good performance comparable to multispectral detection methods.
가시 이미지와 열영상 이미지를 함께 활용한 다중 스펙트럼 보행자 검출은 높은 검출 성능을 보인다. 하지만, 다른 스펙트럼 이미지 사이의 위치 정렬 비용과 프라이버시 등의 문제로 다중 스펙트럼 보행자 검출을 실생활에 적용하는데 한계가 있다. 본 연구에서는 가시 이미지와 열영상 이미지를 이용하여 네트워크를 학습하고, 탐지 과정에서 열영상 이미지만을 이용하는 높은 성능의 보행자 검출 방법을 제안한다. 이를 위해 상호 모달 관심 영역 메모리를 제안하여 학습과정에 관심영역에 대한 가시 이미지 정보와 열영상 이미지 정보를 저장한다. 탐지 과정에서는 열영상 이미지 만을 이용하여 가시광선 관심영역 정보를 메모리에서 읽는다. 이를 통해, 가시 이미지가 없더라도 가시 이미지 시각 외관 정보를 활용한 높은 성능의 열영상 이미지 보행자 검출을 수행된다. 제안된 방법은 열영상 이미지만을 활용한 보행자 검출에서 가장 높은 탐지 성능을 보인다. 또한, 제안된 방법은 다중 스펙트럼 보행자 검출 방법들과 필적할만한 좋은 탐지 성능을 보인다.
