Recent developments in Virtual Reality (VR) and Mixed Reality (MR) provide new opportunities to foster more immersive remote collaborations. In such collaboration scenarios, it is important to consider possible cues that help recognize an object of interest that users are focusing on. We propose a new data-driven approach to predict object of attention in virtual reality by making use of deictic marking information of the other user avatar as input features. Our application makes real time predictions on user attention and gaze point in virtual scenes. Our method marginally outperforms simple gaze prediction method. Further examination on object detection accuracy reveals our approach shows more robustness in dynamic scenarios for detecting object of interest validating deictic information's usefulness in gaze predictions.
최근 가상현실과 증강현실 기술의 발달로 인하여 더욱 몰입감 있는 원격 협업이 가능하게 되었다. 이러한 협업 환경에서는, 사용자가 주의를 집중하고 있는 객체를 인식하는데 도움이 되는 지표들을 최대한 고려하는 것이 중요하다. 본 연구에서는, 소통 상대 아바타의 지시동작 정보를 입력값으로 받아서 주의대상객체를 인식하는 새로운 학습 기반의 기법을 소개한다. 본 어플리케이션에서는 실시간으로 가상 환경에서의 사용자 주의와 시선을 예측하게 된다. 본 기법은 기초적인 시선 예측법보다 조금 더 정확한 예측 결과를 보여준다. 추가적인 주의객체 탐지율 분석을 통해서, 제시된 기법이 동적인 시나리오에서 가지는 안정성을 확인할 수 있었으며, 지시동작 정보가 시선 예측에서 가지는 유용성 또한 검증할 수 있었다.