Recently, Virtual reality (VR) becomes more and more popular around the industry such as entertainment, simulation training, education and so on. Although VR contents can give immersive and dynamic experiences to viewers, there are many reports that VR sickness occurs during employing VR environments. VR sickness is one of the main issues which hamper development of VR industry. To resolve this VR sickness, researches for quantifying and assessing it are needed. In this paper, we propose a novel deep learning-based framework for modeling the effect that spatial resolution of VR contents causes VR sickness. The proposed method takes into account spatio-temporal visual perception of 360-degree video for assessing VR sickness score. To consider spatio-temporal visual perception of VR contents, we design deep model to predict not only VR sickness score but also spatial and temporal perception from the latent features. To evaluate the effectiveness of the proposed method for VR sickness assessment, we built a new dataset that consists of 360-degree videos (stimuli), physiological signals, and the corresponding subjective simulator sickness questionnaire (SSQ) scores by our subjective assessment experiment. Experimental results demonstrated that the proposed metric had a high correlation with human subjective score for VR sickness.
최근 가상 현실은 오락, 시뮬레이션 훈련, 교육과 같은 산업에서 인기를 끌고 있다. 가상 현실 콘텐츠가 몰입감 있고 역동적인 경험을 제공할지라도, 가상 현실 환경을 이용하는 동안 가상 현실 멀미를 일으킨다는 많은 보고들이 있다. 가상 현실 멀미는 가상 현실 산업의 발전을 막는 주된 이슈 중 하나이다. 이 문제를 해결하기 위해 가상 환경 멀미를 정량화하고 평가하는 연구들이 필요하다. 이 논문에서는 가상 환경 멀미를 평가하는데 있어서 가상 환경 콘텐츠의 공간 해상도가 미치는 영향을 모델링하는 새로운 딥 러닝 방식의 프레임워크를 제안한다. 제안된 방법은 가상 현실 멀미 점수를 평가하기 위해 360도 영상의 시공간적 시각 지각을 고려한다. 해당 지각을 고려하기 위해 가상 현실 멀미 점수를 측정할 뿐만 아니라 추출된 특징으로부터 시공간적 지각을 예측한다. 제안된 방법의 효율성을 검증하기 위해 360도 영상과 생체신호, 그에 따른 주관적 가상 현실 설문을 통한 멀미 점수를 새로 얻었다. 실험 결과는 제안된 방법으로부터 예측한 멀미 점수가 주관적 평가 실험을 통해 얻은 사람의 멀미 점수와 높은 상관관계를 얻은 것을 입증한다.
