Face recognition with 3D information such as depth images taken from mobile devices has been rapidly increasing for person identification. The depth image-based face recognition outperforms RGB image-based method since the 3D information is robust to the change of illumination and safe from face-spoofing. However, previous 3D sensors have inevitable limitation in the use of long-distance due to the degradation of resolution and accuracy as the distance increases. This limitation makes that 3D face recognition systems utilize at close distance under 1.5 m. In this paper, a novel 3D face recognition system utilizing the region-scanning based indirect ToF is proposed to identify facial information in relatively long distances. This system has the advantages of measuring over 3 m regardless of external illumination, and being able to obtain high-resolution 3D data with free filed-of-view(FoV). This face recognition system consists of two parts: (1) detection of the targeted face region by amplitude image and (2) 3D face recognition with the high-resolution face data of region-scanning. In part (1), the suggesting scanning sensor captures an amplitude image which pixel is amplitude of received signal at full FoV, and the region of target face is detected by face detection algorithm. Then, in part (2), the scanning sensor only scans the detected face region of a smaller FoV with a scanner maintaining high-resolution, high-precision 3D facial information in the targeted region. A novel deep learning network extracts new facial features directly from the localized 3D data and amplitude image the detected region to get the high-accuracy of face recognition. The proposed 3D face recognition system is demonstrated and verified experimentally with various participants in every distance from 1.5 m to 4 m and gets a better maximum recognition rate of 98% than the other conventional ToF sensor-based system. This long-distance 3D face recognition system can give us a new opportunity for home appliances, gate entrances, service robots, and many public applications.
얼굴 인식 기술은 개인 인증과 보안시설 접근, 서비스 로봇 등 보안이 중요한 장소에서 필요성이 증대되고 있다. 가장 대표적인 RGB 이미지 기반의 얼굴 인식 방식은 현재 널리 상용화되어 있지만, 실제 사람의 얼굴과 사진을 구분하지 못하고 조명에 따라 인식이 어렵다는 한계가 존재한다. 이를 극복하기 위해 거리 측정 센서의 발전에 따라 3차원 정보 기반 얼굴 인식 기술이 연구되는 추세이다. 다만 현재는 상용 거리 측정 센서가 취득할 수 있는 3차원 이미지의 해상도가 매우 낮기에 기존의 3차원 정보 기반 얼굴 인식 시스템으로는 1.5 m 이내의 가까운 거리에서만 활용이 가능하다. 따라서, 본 논문에서는 자체 개발한 비행시간 측정 (Time-of-Flight) 방식의 스캐닝 기반 센서를 사용한 원거리 3차원 얼굴 인식 시스템을 제안한다. 비행시간 측정 방식을 사용하여 외부 조명에 관계없이 3 m 이상의 거리를 측정하며, 스캐닝 방식으로 자유로운 시야각을 가지는 고해상도의 3차원 정보 취득이 가능하다는 장점이 있다. 이 시스템은 우선 광원에서 물체로부터 반사되어 포토 다이오드 센서로 받은 빛의 세기 (IR Amplitude) 이미지를 사용하여 근거리부터 4 m 원거리까지 실제 사람의 얼굴을 검출한다. 이후 검출한 얼굴 영역에 대해 스캐닝 방식으로 고해상도의 3차원 얼굴 데이터와 IR amplitude 이미지를 취득한 뒤 딥러닝 기반 특징을 추출한다. 추출한 개인별 특징에 따라 사전에 등록된 사용자인지 식별을 진행한다. 제안된 3차원 얼굴 인식 알고리즘 및 시스템을 검증하기 위해 공공 데이터셋과 직접 촬영한 얼굴 데이터를 사용하였고, 기존의 거리 측정 센서 기반의 얼굴 인식 시스템과 거리 별 인식률 비교를 진행하였다. 이 연구는 추후 공공장소에서의 다중 원거리 얼굴 인식 시스템으로 출입 관리, 신원 확인 등에 활용될 수 있을 것이라 예상한다.
