Nonverbal cues, such as biosignal representation, are essential factors accessible in virtual reality (VR). Among various biosignals, heart rate is a salient cue enabling users to interact and communicate with each other. Though heart rate has been actively investigated in a variety of contexts, the studies were mostly conducted in 2D digital environments and in a single-player format. Taking this into consideration, the study follows a 2 by 2 within-subjects design and explores how heartbeat audio and heart rate patterns influence collaboration and decision-making in a modified Prisoner’s Dilemma game paradigm in a real-time multi-player context. The study (N = 39) shows that the heartbeat audio (on and off) and the different heart rate patterns (slow to fast and fast to slow) have an effect on collaboration (Social Presence, Trust, Cooperation Intention) and decision-making (Decision-making, Real-time Heart Rate, Choice Time) in a shared virtual environment. Results suggest that the level of Social Presence showed a significant main effect on heart rate pattern and the level of Trust showed a significant interaction effect between heart rate pattern and heartbeat audio. In addition, marginal significance was observed in terms of the interaction effect between decision-making and heart rate pattern on Choice Time. Based on this, we discuss the implications of collaboration and decision-making analyses along with responses of the in-depth interview from the participants collected after the experiment. We also provide insights on effective biosignal representation design for immersive interaction in social VR.
비언어적 단서인 생체 신호 표현은 가상 현실 (VR)에서 접근 가능한 필수적인 요소이다. 다양한 생체 신호 중에서 심박수는 사용자들이 서로 상호 작용하고 의사 소통하는 데에 도움을 주는 중요한 단서이다. 심박수는 다양한 맥락에서 활발하게 연구되어 왔지만, 기존 연구들은 대부분 2D 디지털 환경과 단일 플레이어 형식에서 수행되었다. 이를 고려하여 본 연구는 VR로 실시간 다중 플레이어 상황에서 심박수 오디오와 심박수 패턴이 어떻게 협업과 의사 결정에 영향을 미치는지를 수정된 죄수의 딜레마 게임 패러다임을 사용하여 탐구한다. 본 연구 (N = 39)는 2x2 피험자 내 설계를 기반으로 심박수 오디오 및 심박수 패턴이 공유 가상 환경에서 협업(사회적 공존감, 신뢰도, 협력 의사) 및 의사 결정 (의사 결정, 실시간 심박수, 선택 시간)에 영향을 미치는 것을 보여준다. 실험 결과, 사회적 공존감이 심박수 패턴에 유의한 주요 효과를 보였으며 신뢰도 측면에서는 심박수 오디오와 심박수 패턴 사이의 유의한 상호 작용 효과가 나타났다. 게다가, 선택 시간에 대한 의사 결정과 심박수 패턴 간의 상호 작용 효과도 주목할 만한 중요성이 관찰되었다. 이를 바탕으로, 실험 이후 수집된 피험자들의 심층 인터뷰 응답과 함께 협업 및 의사 결정 분석의 함의에 대해 논의한다. 또한, 사회적 VR에서 몰입형 상호 작용을 위한 효과적인 생체 신호 표현 디자인에 대한 통찰을 제공한다.
