According to increasing demand for realistic broadcasting which includes presence and realism, 3-Dimensional (3D) video and Ultra High-Definition (UHD) video has attracted considerable attention recently beyond the existing High-Definition (HD) video. Specially, 3DTV is expected as a promising next-generation broadcasting to maximize sensation of presence by providing an additional dimension, depth.
Besides, visual discomfort/fatigue problems such as vomiting, sickness, dizziness caused by viewing 3D video, have become more important issues. Because 3DTV displays the same image shot from slightly different angles to each eye artificially in order to create the illusion of 3-D scenes. So safety problems on stereoscopic video contents may occur more frequently. Therefore, 3D video quality and visual comfort evaluation tools are essential to prevent from the above problems and to guarantee the safety of 3D contents.
In this study, we examine the factors affecting human perception of depth and visual comfort from stereoscopic video which has little 2D artifacts such as blockiness, blurring. For this, we conduct subjective quality assessments using the Single Stimulus (SS) method of ITU-R BT.500-11 on 105 stereoscopic test video sequences of HD resolution for twenty subjects. Here the subjective quality assessments are evaluated in terms of visual quality, perceived depth and visual comfort. After analyzing these results, we extract four factors: (1) Mean of motion vector`s magnitudes is extracted to represent temporal variance; (2) Disparity variation in intra-frames and (3) disparity variation in inter-frames are used because excessive change of depth can cause visual fatigue; (4) disparity distribution of frame boundary areas is used. Finally we combine these four factors to propose a no-reference stereoscopic video quality perception model (SV-QPM). The model parameters are estimated using a linear regression model based on the results of subjective quality assessment.
The performance of the proposed no-reference SV-QPM is evaluated based on several statistical metrics including pearson correlation coefficient (CC), root mean square error (RMSE) and outlier ratio (OR) between MOS (mean opinion score) and MOSp (prediction of MOS). The experimental results show that our proposed model exhibits high consistency with subjective quality assessment results, having an CC value of 0.8583, and the prediction consistency turns out to be good with zero OR value.
최근 사실감과 현장감을 극대화하는 실감형 방송에 대한 요구가 증가함에 따라 기존의 HD를 넘어 UHDTV 및 3DTV에 대한 관심이 급증하고 있다. 특히 3DTV는 시청자들에게 입체감을 더해 현장감을 극대화하는 차세대 방송으로 각광받고 있다. 3DTV가 가정 내에 보급되기 시작하고 2010년 10월 지상파 DTV 채널을 통한 3D 실험방송이 시작됨에 따라 3D 방송에 대한 기대는 최고조에 다다랐다. 그러나 성공적인 3DTV 방송을 위해서는 아직도 해결해야 할 기술적 문제들이 많이 남아있다.
3D 영상의 보급이 활발해짐에 따라 3D 영상 시청 시 나타나는 구토, 두통, 어지럼증 등의 3D 시각피로와 같은 부작용 또한 해결해야 할 중요한 문제로 대두하고 있다. 3D 디스플레이는 인위적으로 양 눈에 서로 다른 영상을 제시함으로써 입체 영상을 구현하기 때문에 기존의 2D 영상보다 시각 피로와 같은 안정성 문제가 더욱 더 빈번히 발생할 수 있으며 이는 3D 영상의 대중화 이전에 반드시 해결해야 할 문제이다. 따라서 3D 콘텐츠에 대한 품질 평가를 통해 위의 문제를 사전에 방지할 3D 콘텐츠 품질 평가 도구 개발이 필요하다.
본 연구에서는 2D 이미지 열화가 없는 원 영상에서 입체감 인지와 시각피로에 영향을 주는 요인을 분석하였다. 이를 위하여 ITU-R BT.500-11의 Single Stimulus(SS) 방법을 이용하여 스테레오스코픽 비디오의 주관적 품질 평가 실험을 수행하였다. 실험 결과 분석을 통해 스테레오스코픽 비디오에서 입체감에 영향을 주는 네 가지 요소를 추출하였다. 모션벡터의 크기 값을 이용하여 영상의 빠르기를 정의하였으며, 시차 정보의 영상 내 변화량, 영상 간 변화량을 측정하였다. 또한 가장자리 영역의 시차 분포를 측정하였다. 최종적으로 위의 네 가지 요인을 선형회귀분석을 이용하여 통합하여 스테레오스코픽 비디오의 품질 인지 모델(Stereoscopic Video Quality Perception Model, SV-QPM)을 제안하였다.
제안하는 모델의 성능 검증을 위하여 주관적 품질 평가 결과 점수(MOS)와 모델을 통한 예측 값(MOSp) 간의 피어슨 상관 계수(Pearson correlation coefficient, CC), Root mean square error(RMSE), Outlier ratio(OR)를 측정하였다. 검증 결과 피어슨 상관계수는 약 0.86, RMSE 는 약 0.166, OR는 0으로 높은 예측 정확도를 보였으며 매우 우수한 예측 일관성을 보였다.
앞으로 제안하는 모델의 불완전한 시차 추출 알고리즘으로 인한 예측 오류를 개선하고 2D 압축 비트 스트림에서의 화질 열화 모델과 결합하여 코덱 환경에서 동작 가능하도록 하는 연구가 진행될 예정이다.
