Texture mapping artifacts are a major problem in multi-view 3D face reconstruction. Especially, when the texture of the open eye and the texture of the closed eye are used together to texture mapping of the eye area, seam artifact is generated in the eye area. However, research on blink detection in the presence of such projective distortion is rarely under study, and most of algorithms for detecting eye blinking in frontal face use a learning-based eye detection method. However, such a learning-based eye detection method has a large difference in performance depending on the difference between the data used for learning and the input image, and it is difficult to apply it to the environment where projective distortion exists
Therefore, in this paper, we propose a method to distinguish images with closed eye from multi - view face images without using learned results. It makes a homogeneity map for the input image to detect the approximate position of the eye from the image. The detected area of the approximate eye is subjected to steps of skin area removal and horizontal edge detection for accurate detection of the area of the eye.
The precisely detected area of the eye is subjected to eye height adjustment and eye height alignment steps. The result is that the height of the detected eye is used to determine the degree of eye openness. Using the result the images with closed eye are selected from the input multi-view images. Through experiments, we confirmed that the proposed method classifies images with good performance.
다중 시점 영상 기반 3차원 얼굴 복원 과정에서 텍스처 매핑 결함은 큰 문제이다. 특히 뜬 눈의 텍스처와 감은 눈의 텍스처가 함께 눈 영역의 텍스처 매핑에 이용되면, 눈의 영역에 이음새 결함을 발생시키게 된다. 하지만 현재 이를 해결하기 위한 다중 시점 얼굴 영상에서 눈의 깜빡임을 탐지하는 연구는 거의 진행되고 있지 않으며, 얼굴이 카메라와 마주한 상황에서의 눈 깜빡임 탐지에 관한 알고리즘은 주로 학습 기반 눈 탐지방법을 이용하고 있다. 그러나 이 같은 학습 기반 눈 탐지 방법은 학습에 이용된 데이터와 입력 영상의 차이에 따라 성능의 차이가 크며, 투영 왜곡이 존재하는 환경에는 적용하는데 어려움이 있다.
따라서 본 논문에서는 학습된 결과를 이용하지 않고, 다중 시점 얼굴 영상에서 눈을 감고 있는 영상을 구분하는 방법을 제안한다. 영상으로부터 눈 탐지를 위해 입력 영상에 대해 균일도 지도를 생성해 눈의 대략적인 위치를 탐지한다. 그것을 바탕으로 정확한 눈의 영역 탐지를 위해 피부 영역 제거, 수평방향 에지 검출의 단계를 거친다.
정확히 탐지된 눈의 영역은 눈 높이 조정, 눈 높이 정렬 단계를 거쳐 눈의 높이를 눈의 뜬 정도를 판단하는데 이용할 수 있도록 하고, 입력된 다중 시점 영상에서 눈을 감은 영상을 걸러낸다. 실험을 통해 제안된 기법이 좋은 성능으로 영상을 걸러내는 것을 확인하였다.
