Stereoscopic three-dimensional (S3D) contents have received a significant interest from industries and research fields because they could provide enhanced viewing experiences. However, with the increasing interest of the S3D contents, the concerns are emerging for the safety of stereoscopic imaging. To address the issues of viewing safety in S3D contents, it is essential to develop a reliable objective visual comfort assessment (VCA), aiming to predict the visual discomfort of the displayed S3D contents. In this thesis, we propose a novel VCA method for S3D contents by using deep convolutional neural network (DCNN). To effectively predict visual discomfort in S3D contents viewing, the proposed network mainly consists of two parts; 1) spatial feature encoding part on monocular image: multi-level spatial features are encoded from each view (monocular image) to consider various type of spatial characteristics. 2) binocular feature encoding part: multi-level spatial features from left- and right views (binocular images) are combined to encode S3D discomfort factors. During training the proposed network, disparity information is used through knowledge transfer and regularization method to encode binocular features in S3D VCA, since disparity is main factor leading the S3D discomfort factors. By the extensive and comparative experiments using IEEE-SA dataset, the results show that the proposed binocular fusion deep networks yield excellent prediction performance.
스테레오스코픽 영상은 입체적인 시각 정보를 제공하여, 다양한 산업 및 연구분야에서 수요가 급증하고 있다. 그러나 최근 스테레오스코픽 영상 시청 시 발생하는 불편감 증상으로 인해, 시청 안전성에 관한 문제가 제기되었다. 스테레오스코픽 영상의 시청 안전성 문제를 다루기 위해선 스테레오 영상의 불편감을 자동으로 측정할 수 있는 기술 개발이 필요하다. 본 학위논문에서는, 심층 컨벌루션 신경망을 이용하여 스테레오스코픽 영상의 불편감을 자동으로 측정할 수 있는 새로운 방법을 제안한다. 스테레오스코픽 영상에서 불편감을 정확하게 측정하기 위해 제안하는 네트워크는 크게 두 부분으로 구성된다; 1) 단안 영상에서 공간정보를 추출하는 부분: 단안 영상의 다양한 공간 정보를 반영하기 위해 여러 단계의 공간 특징이 인코딩 된다. 2) 양안 특징을 추출하는 부분: 좌우 영상으로부터 각각 추출된 여러 단계의 공간 특징이 결합되어 스테레오스코픽 영상의 불편감 요소로 인코딩된다. 디스패리티는 스테레오스코픽 영상에서 불편감을 유발하는 주요 요소이기 때문에 제안하는 네트워크를 학습시키는 동안, 디스패리티 정보를 전이학습과 정규화 과정에 이용한다. IEEE-SA 데이터를 이용하여 광범위한 실험을 진행하였고, 그 결과 제안하는 방법이 우수한 성능을 보였다.
