Human detection systems have been applied to many applications such as intelligent vehicles and surveillance cameras with increasing demands of safety and security. The scope of previous works has been confined usually in color(or intensity) images.
In this paper, we present a complete human detection system using the information of both depth and intensity images together. Firstly, we apply a segmentation algorithm to a depth image. Then we merge the segmented regions and generate Region-Of-Interest(ROI)s which may contain a human, considering experimentally determined horizontal overlap and aspect ratio, respectively. Secondly, we use a newly proposed feature descriptor, Fused Histogram of Oriented Gradients(FHOG), to extract feature vectors from the ROIs applied in both depth and intensity images. Finally, we check the presence of human in the ROIs with linear SVM. Following the basic principles of Histogram of Oriented Gradients(HOG), we develop this FHOG descriptor to utilize both gradient magnitudes of depth and intensity images. With our data sets obtained from Microsoft Kinect sensor, the FHOG descriptor and overall system achieve a miss rate of 1.44% at 10^{-4} FPPW and of 10.10% at 1 FPPI, respectively. The computing time of proposed system is also significantly reduced. Experimental results show our system is able to detect humans accurately and fast.
안전과 보안에 대한 관심이 증대됨에 따라 사람 검출 시스템은 지능형 자동차 및 감시 카메라와 같은 다양한 응용기기에 많이 사용되어 왔다. 기존에 개발된 시스템들의 작업 영역은 주로 칼라 이미지(또는 세기 이미지)에만 국한된다. 우리는 이 논문을 통해 깊이 영상과 세기 영상의 정보를 함께 활용하는 완전한 사람 검출 시스템을 제안한다.
먼저, 우리는 깊이 영상에 영상 분할 알고리즘을 적용한다. 그리고 실험을 통해 정해진 분할된 영역들의 수평 방향 중첩 비율과 종횡비를 고려하여 그 영역들을 재조합하고 사람이 포함된 관심 영역을 생성한다.
그 다음으로, 생성된 관심 영역에 대해서만 우리가 새로이 제안하는 지향 그라디언트의 혼합 히스토그램 기법(FHOG)을 적용하여 특징점을 추출해 낸다. 끝으로, 선형 SVM을 이용하여 관심 영역의 사람 존재 유무를 판단한다. 우리가 제안하는 지향 그라디언트의 혼합 히스토그램 기법은 기존 지향 그라디언트의 히스토그램 기법(HOG)의 기초적인 원리를 따르며 깊이 영상과 세기 영상의 그라디언트 크기를 동시에 활용한다. 우리가 마이크로소프트 Kinect로부터 확보한 영상 데이터 셋을 이용하여 실험하면 제안한 기법과 전체 시스템은 각각 10^(-4) FPPW에서 1.44%, 1 FPPI에서 10.10%의 실패율을 달성한다. 제안한 시스템의 연산 시간은 더욱더 감소한다. 이러한 실험결과는 우리 시스템이 사람을 보다 정확하고 빠르게 검출함을 보여준다.
