Facial expression conveys non-verbal communication information to help humans better perceive physical or psychophysical situations. Accurate 3D imaging provides stable topographic changes for reading facial expressions. In particular, light-field cameras (LFCs) have a high potential for constructing 3D depth maps thanks to a simple configuration of microlens arrays and an objective lens. Here we report a machine-learned NIR-based light-field camera (NIR-LFC) for facial expression reading by extracting Euclidean distances of 3D facial landmarks in a pairwise fashion. The NIR-LFC contains microlens arrays with asymmetric Fabry-Perot filter and NIR bandpass filter on CMOS image sensor, fully packaged with two VCSELs. The NIR-LFC not only increases image contrast by 2.1 times compared to conventional LFCs, but also reduces reconstruction errors by up to 54%, regardless of ambient light conditions. A multi-layer perceptron (MLP) classifies input vectors, consisting of 78 pairwise distances on a 3D facial depth map of happiness, anger, sadness, and disgust, and exhibits exceptional average accuracy of 0.85 (p<0.05). This LFC provides a new platform for labeling facial expression reading and emotion in point-of-care biomedical, social perception, or human-machine interaction applications.
표정은 비언어적 의사 소통 정보를 전달하여 인간이 신체적 또는 정신적 상황을 더 잘 인식하도록 돕는다. 정확한 3D 이미징은 표정을 읽을 때 안정적인 지형 변화를 제공한다. 특히, 라이트필드 카메라 (light-field camera, LFC)는 마이크로 렌즈 어레이와 대물 렌즈의 간단한 구성 덕분에 3D 깊이 지도를 구성할 수 있다. 본 연구에서는 3D 얼굴 랜드 마크의 유클리드 거리를 쌍 방식으로 추출하여 표정 읽기를 위한 기계 학습 NIR 기반 라이트필드 카메라 (NIR-LFC)를 보고한다. NIR-LFC에는 CMOS 이미지 센서의 비대칭 Fabry-Perot 필터 및 NIR 대역 통과 필터가 있는 마이크로 렌즈 어레이가 포함되어 있으며, 두 개의 VCSEL로 완전히 패키징 된다. NIR-LFC는 기존 LFC에 비해 이미지 대비를 2.1 배 증가시킬 뿐만 아니라 주변 조명 조건에 관계없이 재구성 오류를 최대 54 %까지 줄인다. 다중 레이어 퍼셉트론 (Multi-layer Perceptron, MLP)은 행복, 분노, 슬픔, 혐오감의 3D 얼굴 깊이 지도에서 78 쌍의 거리로 구성된 입력 벡터를 분류하고 0.85의 뛰어난 평균 정확도를 나타낸다 (p <0.05). 이 LFC는 POC (Point-of-Care) 생물 의학, 사회적 인식 또는 인간-기계 상호 작용 응용 분야에서 표정 판독 및 감정에 라벨을 지정하는 새로운 플랫폼을 제공할 것으로 기대한다.
