It is generally agreed that a possible obstacle to the widespread deployment of 3D services is related to issues of visual comfort. To address the issues of viewing safety in stereoscopic 3D television, it is necessary to develop a way to measure the visual discomfort. However, conventional discomfort measurement methods (e.g., subjective discomfort measurement, ocular response measurement, brain activity measurement, etc) have a limit to directly apply real applications due to several practical issues such as expensive equipment, intrusive use of the equipment, etc. This thesis aims at developing a novel discomfort measurement method by analyzing viewers’ facial expression. In order to understand the visual discomfort by stereoscopic viewing, this thesis investigates determinants of visual discomfort based on the relationship between stimulus characteristics and binocular fusion limit. In addition, we investigate the combined effect of individual discomfort causes on the overall visual discomfort. With the understanding of visual discomfort in stereoscopic displays, this thesis further investigates human facial expressions associated with visual discomfort from a face captured by a camera. Based on our analysis, this thesis introduces a new discomfort-measurement method for the analysis of faces viewing stereoscopic display. Experimental results showed that the proposed method was feasible for challenging face videos with fully spontaneous expressions and occlusions via passive 3D glasses (classification accuracy was 82.08%). It is worth to note that the objective discomfort assessment using facial expression analysis could have advantages such as being low cost, of non-intrusive use, and easy in terms of implementation compared to pre-existing objective discomfort measurement tools such as fMRI, EEG, etc.
3D 콘텐츠의 시청 안전성 이슈는 3D 서비스 다각화를 저해하는 주요 요인으로 알려져있다. 이러한 양안식 3D 콘텐츠 시청에 의해 발생한 시각적 불편감을 다루기 위해, 시각적 불편감 측정 방법의 개발이 요구된다. 그러나 기존의 불편감 측정 기술들 (주관적/객관적 측정)은 시간 소모적이며, 비용이 비싸며, 거추장스러운 장비 사용을 요구하므로, 실생활에 적용하기에 실용성 측면에서 적합하지 않다. 보다 실용적인 불편감 측정 기술의 개발을 위해 본 학위 논문에서는 카메라로부터 획득한 사람의 얼굴 표정 정보에 주목하였다. 얼굴 표정은 자연스럽고 직접적인 감정 표현 수단 중 하나이다. 또한, 불편감에 의해 활성화된 뇌 영역이 표정 변화를 주관하는 뇌 영역을 포함한다. 이러한 사실들은 얼굴 표정 변화가 시각적 불편감을 나타내는 지표로 활용될 수 있음을 시사한다.
본 학위 논문에서는 시청자의 얼굴 표정 분석에 기반한 새로운 불편감 측정 방법을 제안하였다. 양안식 3D 콘텐츠 시청에 의한 시각적 불편감에 대한 이해를 위해, 시각 자극의 특성과 양안 융합 한계의 관계에 기반하여 불편감 요인을 조사하였다. 그리고, 각각의 불편감 요인들에 의해 종합적인 불편감에 어떻게 결정되는 지 또한 조사하였다. 이러한 양안식 3D 콘텐츠에 기인한 불편감의 이해를 바탕으로, 본 논문에서는 불편감과 관계된 얼굴 표정 변화를 조사하였다. 그리고, 분석된 시각적 불편감과 얼굴 표정 변화와의 관계에 근거하여, 표정 분석 기반 불편감 측정 기술이 제안되었다. 제안한 표정 분석 기반 불편감 측정 기술의 효용성을 실험을 통해 검증하였으며, 이를 통해 제안 방법이 82.08%의 높은 분류 정확도를 가짐을 확인할 수 있었다. 제안 방법은 기존 불편감 측정 방법들과 비교할 때, 비용이 적게 들며, 거추장스러운 장비 사용이 없으며, 구현이 쉽단 장점을 갖는다.