In this paper, we propose a novel human detection system with thermal and visible image sensors using a new joint bilateral filter. There is a limitation to the performance of devices which attempt to detect humans by using only one sensor. We therefore use two sensors: an infrared sensor and a color image sensor. To fuse the best features of both types of sensor in order to achieve superior performance in human detection, we use low-level image fusion. To carry out this image fusion process, we propose a new joint bilateral filter which is useful for fusion of the edge information in the visible image and the white region in the thermal image and segmentation method of thermal image by using the facet filter and determinant of Hessian matrix. This image fusion process effectively removes the regions of human shadow which is trouble of background subtraction. To achieve this effect, we make the background model with multi-spectral fusion results. The results from different pairs of current fused images and the background model are subtracted to detect the human effectively. Experimental results show that effective and easy human detection can be achieved by the proposed algorithm.
비디오 분석학은 객체 추적 연구의 한 분야로써 동영상 데이터 분석을 통하여 여러 정보를 추출하고 이를 기반으로 객체의 움직임을 분석 및 예측하는 연구분야이다. 최근 비디오 분석학은 유동 인구 측정, 사람/자동차 추적, 감시 및 보안 등으로 그 응용 분야를 넓혀가고 있다. 본 논문에서는 비디오 분석기법의 근간이 되는 탐지 알고리즘에 대한 연구를 수행하였다. 칼라 영상이거나 적외선 영상 중에 하나의 센서로만 탐지하는 기법들을 적용하였을 때는 각 영상의 특성에 따라 제한점이 존재한다. 이를 극복하기 위하여 두 영상에서 탐지에 필요한 각 특성들을 융합하는 영상융합기법에 대해 제안한다. 본 논문에서는 기존의 영상 융합기법인 YCbCr 4:2:2보다 정확도를 높인 방법을 소개하고자 한다. 적외선 영상과 칼라영상의 영상융합기법은 크게 세가지 과정을 담고 있다. 융합하기 이전에 준비단계로 적외선영상을 Fast Facet Filter를 활용하여 영상분할을 하는 단계와 가시영상을 휘도 성분으로 변화시키는 단계가 있다. 결과인 두 영상을 New Joint Bilateral Filter를 이용하여 융합하는 단계가 존재하고, 마지막으로 표적을 탐지하기 위하여 Background Modeling하는 단계로 나뉘어져 있다. 본 논문에서 Facet Filter과 Integral Image를 이용하여 적외선 영상에서 작은 표적을 탐지하는 방법에서 속도를 개선하고, 이 기법인 Fast Facet Filter를 이용하여 이미지 융합의 준비단계인 사람의 형태를 나타내는 영상분할기법을 제안한다. 또한 기존의 Joint Bilateral Filter를 개선하여 표적이 존재하는 부분을 선명히 나타나게 하는 이미지 융합기법인 New Joint Bilateral Filter를 소개한다.
