Most existing deep learning architectures rely on feature concatenation or weights combination to construct a representation layer to recognize distinct image biometrics. Using a concatenation operator is inefficient, as it does not effectively cooperate with the multimodal data to achieve adequate recognition performance. Therefore, this motivates the need for a fusion algorithm. This dissertation proposes a novel approach by utilizing a multi-layer fusion algorithm with multimodal biometrics through facial and periocular modalities with texture descriptors. This approach discovers complementary information within the multimodal biometrics data. The multi-layer fusion algorithm is effective in multimodal scenarios, resulting in effective learning. We incorporate multi-layer fusion by correlating multimodal data with its texture descriptors. Through our experiments using public datasets, our proposed approach improved over baseline methods especially when subjected to environmental variations such as aging, illumination, poses, and occlusions. These results also proved that a flexible fusion approach could effectively mitigate the shortcomings of using raw data for identifying individuals, thereby improving on recognition performances across challenging datasets and unconstrained environments.
현존하는 대부분의 딥러닝 구조들은 이종의 시각적 생체정보를 연결하기 위하여 단순한 접합이나, 가중치 조합을 통해서 이미지의 생체정보를 인식하는 계층을 구성한다. 하지만 단순히 이종의 데이터를 연결하는 것은 각 데이터가 협력하여 적절한 인식 성능을 줄 정도로 효율적이지 못하다. 따라서 이종의 데이터를 적절하게 혼합해주는 알고리즘이 필요하며, 본 논문은 질감, 얼굴 그리고 눈에서 얻은 생체정보를 다층구조를 통해서 혼합해주는 새로운 알고리즘을 제안한다. 본 접근방법은 복수의 모달리티를 갖는 생체정보를 보안하는 정보를 찾아낸다. 다층 혼합 알고리즘은 복수의 모달리티를 갖는 상황에서 효율적인 학습을 가능하게 한다. 또한 다층 구조 혼합 알고리즘을 사용하여 질감 정보와 복수의 모달리티를 갖는 데이터와 연관시킬 수 있다. 제안된 알고리즘은 공인 데이터셋에서 기존의 알고리즘의 성능을 개선시켰으며, 특히 나이, 명암, 자세나 가리움 같은 환경적인 변화가 있을 경우 성능개선이 명확하였다. 위 결과는 또한 혼합 알고리즘이 기존의 가공되지 않은 데이터를 사용하여 사람을 식별하는 방법의 단점을 개선할 수 있음을 보였고, 이를 통해 어려운 데이터셋과 통제되지 않은 상황에서 인식성능을 개선하였다.
