Dual pixel (DP) sensors built with two photodiodes under a tiny microlens provide a narrow baseline stereo images. Recently, many mobile manufacturers have adopted DP in their flagship models because it supports the faster auto-focus and more aesthetic image captures. Despite of the advantages of DP, research on their use for facial recognition has been limited, due to the lack of a public dataset. In this paper, we present the first DP facial geometry dataset involving more than 100K face images, the corresponding full 3D models in metric scale, and normal maps for 107 subjects. To acquire the datasets, we design a new multi-camera array consisting of 8~DSLR cameras with DP sensors, and propose a Structured Light (SL)-based facial 3D reconstruction method. Moreover, we propose a new stereo matching network for dual pixel images, called SubMat. We design a subpixel-level matching module tailored for stereo matching of extremely narrow baseline images. Extensive experiments show SubMat enables to produce the accurate depth maps and the estimates help to detect face spoofing. We demonstrate that the proposed method trained on our facial datasets achieves state-of-the-art performance on DP stereo matching.
매우 작은 마이크로 렌즈 아래 2개의 포토다이오드로 구성되어 있는 듀얼 픽셀 센서는 2개의 매우 작은 이미지 간 거리를 가지는 스테리오 이미지를 제공한다. 최근에, 많은 핸드폰 제조회사에서 핸드폰 카메라에 이 듀얼 픽셀 센서를 적용하였으며 주로 자동 초점 기능과 심미적 사진 촬영 기능을 제공한다. 이러한 듀얼 픽셀의 장점에도, 공개된 얼굴 데이터셋이 없었기에 얼굴 인식에 관한 듀얼 픽셀 연구는 제한적이었다. 이 논문에서는 107명을 대상으로 한 일백만이 넘는 얼굴 사진, 실제 스케일의 얼굴 3D, 표면 법선 영상을 포함한 듀얼 픽셀을 위한 3차원 얼굴 데이터셋을 처음으로 제공하였다. 이 데이터셋을 얻기 위해 8개의 듀얼 픽셀 DSLR 카메라로 구성된 다중 카메라 어레이 시스템을 설계하였고 구조광 기법을 사용하여 정밀한 얼굴 3D를 복원하였다. 또한, 본 논문에서는 듀얼 픽셀을 활용한 복원을 위해 새로운 스테리오 매칭 방법에 기반한 딥러닝 네트워크를 제안하였다. 매우 작은 이미지 간 거리를 해결하기 위해 미세 픽셀 레벨로 매칭을 할 수 있는 SubMat이라고 불리는 딥러닝 모델을 제안했다. SubMat을 활용하면 정밀한 깊이 정보를 알 수 있으며 이를 활용하여 얼굴 인식 및 보안에서도 사용할 수 있음을 보였다. 또한, 기존의 방법론들 중 본 논문에서 제안된 SubMat 모델이 가장 뛰어난 성능을 달성했음을 보였다.
