VR sickness is one of the main bottlenecks for the proliferation of VR market. Since VR sickness causes several physical symptoms such as burping, headache, and dizziness to viewers, it is required to automatically predict the level of VR sickness of VR content. VR sickness in human perception can be explained by neural mismatch model. According to neural mismatch model, discrepancy between input sensory signals by sensed by our receptors (e.g., eyes for visual signals) and the expected sensory signals predicted by our neural store with the past experience leads to VR sickness. In this paper, we propose a novel objective VR sickness assessment (VRSA) method based on neural mismatch model for 360-degree video. The proposed VRSA framework is composed of three deep networks which are deep neural store network, deep comparison network, and deep VR sickness score prediction network. The proposed neural store network is to expect the visual sensory information. In this paper, to teach the deep neural store network the general experience of people, the neural store network is trained with normal videos including non-exceptional motion pattern or high frame rate. The deep comparison network is to encode the neural mismatch feature from the visual sensory input sensed by our eyes and the expected visual sensory information predicted by our neural store network. Finally, the level of VR sickness is predicted by the VR sickness score prediction from the neural mismatch feature. In particular, we built eighty 360-degree videos with four different frame rates and conducted extensive subjective experiments to obtain physiological signals and subjective questionnaire for evaluating VR sickness. In our experiment, the prediction performance of the proposed VRSA was verified on two 360-dgree video databases for VRSA, which have different factors of VR sickness (motion and frame rate). Experimental results demonstrated that the proposed VRSA method considering neural mismatch model achieved a high correlation with human subjective score for VR sickness.
가상 환경에서 VR 멀미 현상은 VR 시장의 확산을 가로막는 주요 병목 중 하나입니다. VR 멀미 현상은 시청자에게 트림, 두통 및 현기증과 같은 여러 신체 증상을 유발하기 때문에 VR 콘텐츠 시청 시 야기될 수 있는 VR 멀미의 세기를 자동으로 예측, 정량화 할 수 있는 기술이 필요합니다. VR 멀미 현상은 신경 불일치 모델 이론을 통해 설명 될 수 있습니다. 신경 불일치 모델 이론에 따르면, 우리의 감각 수용체 (예를 들어, 시각 신호를 받아들이는 눈)에 의해 감지 된 입력 감각 신호와 과거의 경험이 축적된 우리의 신경 저장소로부터 예측 된 예상 감각 신호 사이 불일치에 의해 VR 멀미가 야기됩니다. 본 논문에서는 360도 영상에 대해 신경 불일치 모델을 고려한 새로운 VR 멀미 평가 방법을 제안합니다. 제안 된 VR 멀미 평가 프레임 워크는 깊은 신경 저장소 네트워크, 심층 비교 네트워크 및 심층 VR 멀미 점수 예측 네트워크 이렇게 세 가지 심층 네트워크로 구성됩니다. 제안 된 신경 저장소 네트워크는 시각적 감각 정보를 예측합니다. 이 논문에서는, 깊은 신경 저장소 네트워크에게 사람들의 일반적인 경험을 가르치기 위해, 신경 저장소 네트워크는 일반적으로 경험할 수 있는 움직임 패턴이나 높은 프레임 속도를 갖는 정상적인 비디오 데이터베이스를 가지고 학습됩니다. 심층 비교 네트워크는 우리의 눈에 감지 된 시각적 감각 입력과 신경 저장소 네트워크에 의해 예측 된 예상 시각 정보로부터 신경 불일치 특징을 인코딩 하는 것입니다. 마지막으로, VR 멀미의 세기는 신경 불일치 특성으로부터의 VR 멀미 점수 예측 네트워크에 의해 예측됩니다. 특히 우리는 서로 다른 4개의 프레임 속도를 갖는 360도 비디오를 수집하였고, 생리 신호와 주관적 설문을 얻기 위해 광범위한 주관적 실험을 실시했습니다. 우리의 실험에서 제안 된 방법의 성능은 두 개의 서로 다른 특성을 갖는 360도 비디오 데이터베이스에서 검증되었습니다. 실험 결과는 신경 불일치 모델을 고려한 제안 방법이 VR 멀미에 대한 실제 사람의 주관적인 평가와 높은 상관 관계를 가짐을 보였습니다.