While the human hand is the most natural tool for interacting with objects, hand interaction with virtual objects is still a challenging research field. Owing to the popularity of various hand tracking interfaces, there have been numerous applications developed to provide intuitive hand interaction with the virtual world. However, existing hand interaction techniques show limitations with respect to the naturalness of manipulation, satisfaction of visual sensation and interactivity in an immersive environment. We propose an interaction inter-face that consists of a new glove device for finger tracking and a robust and intuitive grasping interaction strategy.
Although users start with great anticipation in virtual environment using such novel interfaces, they end up with dissatisfaction due to difficulties of manipulation or physical tiredness coming very short. Although the task itself is rather trivial in a real life situation, it requires much effort in the virtual environment. We address this awkwardness as ‘VR interaction-induced fatigue symptom’ and hypothesize its causes based on our observations. We argue that the source of the fatigue comes from the restricted sensory information of the VR interfaces, and that users try to accommodate the missing sensory feedback by excessive motion leading to wrong posture or bad timing. We demonstrate our hypothesis by conducting experiments of two types of virtual interaction scenarios: object transport and 3D selection. Then, by analyzing the behaviors of users’ action collected from our experiment, we derive essential factors to be considered in designing VR applications, and propose a conceptual interaction model for orchestrating virtual grasping.
Based on the preliminary study related to symptoms caused in virtual environment, we claim that it is necessary to establish a mechanism about how or what factors of human hand interaction behaviors analytically affect our great virtual experience. To actually deliver the virtual experience that virtual reality (VR) promises, there have been much research and development to meet system requirements but not much on how virtual interaction is perceived by human end users. In later part of our study, we address how and which interaction factors contribute to the human perception in a virtual environment, starting from our observation that users show different interaction behaviors between the real and virtual environment. Users also report that they occasionally feel the unnatural or unlikeable sense when interacting with the virtual environment. Based on our observation, we hypothesize that the causes of unintended unlikeable sense are deeply involved with the discordance between the restricted multisensory (in our case, visual or somatosensory) feedback information and the actual past experience. To verify our hypothesis, we designed experimental tasks (i.e., binocular, touch feedback, and peripheral vision) to check whether or not restricted visual or somatosensory feedback information yield awkward or clumsy hand interaction. With the results from the experiment, we analyze multisensory interaction factors including number of success/failure trials, duration time, index-thumb flexion finger motion, head gazing motion, maximum arc length of hand transport, and distance to early finger extension. Based on the results, we formulate suppositions to be considered for constructing VR systems. Furthermore, we propose a schematic interaction behavior diagram which explains the perceptual mechanism as to why humans experience unnatural or unlikeable sense of virtual interaction under restricted visual and somatosensory feedback environment and provide suggestions on design guidelines for intended virtual experience.
가상 환경 하에서 특정 작업들을 수행할 때 어색함과 조작상의 어려움을 겪는 것에 대한 문제점들이 제기되어 왔고, 이를 줄이기 위한 인터랙션 요소 인자와 대체 가능 피드백을 통해 정교한 인터랙션이 가능한 알고리이 제시되어 왔다. 이러한 관점에서, 우리의 연구는 인간의 생체학적 잡기 특성을 고려하여 가상 인터랙션 시스템을 설계할 때 어색함과 조작상의 어려움이 어떤 연유로 발생하는지에 대한 원인에 주목하고자 한다. 우리의 연구에서는 가상 환경 내에서 인터랙션의 어려움과 피로함에 대한 행동학적 요소 인자들에 대해서 분석하였다. 다양한 가상 인터랙션 행위들을 두 가지 기본적 행위로 분류하고, 피로함과 조작상의 어려움을 야기하는 행동학적 주요 요소 인자들을 유도하였다. 행동학적 요소 인자로는 지속시간(duration time), 최대속도까지의 시간(time-to-peak-velocity), 최대 잡기 간격(maximum grip aperture), 속도 프로파일(velocity profile), 잡기 간격 프로파일(grip aperture profile), 손가락 움직임(finger motions), 조기 손가락 벌림까지의 거리(distance-to-early-finger extension), 수행 및 오류 횟수(number of trials and failures), 중점 교차 정확도(intersection accuracy from the central point) 및 머리 자세(head pose) 등이 있음을 제안하였다.
실험을 통하여, 우리는 가상현실에서 나타나는 행동학적 특징들은 실 환경에서 소뇌의 이상이나 체감각 신호 통로에 손상이 있는 환자의 행동학적 특징들과 유사하다는 점을 발견하였다. 이러한 실-가상에서의 유사함에 주목하여, 가상 환경 내에서의 잡기 제어를 위한 개념적 인터랙션 모델을 고려하였다. 기존 생체학적 물리치료 기법들로부터 착안하여, 가상 작업을 수행시 잡기 성능을 향상시키는 것과 관련된 기존 연구들에서 발생하는 문제점들에 대한 해법이 될 수 있는 개념적 인터랙션 모델을 제시할 수 있었다. 이를 통해, 신체 움직임에 기반한 인터랙션을 이용한 3D 가상현실 애플리케이션을 개발 시 가상 오브젝트와의 접촉 피드백(촉각, 시각, 음향), 다양한 입력 방법에 관한 조절, 시점 조절 등과 관련된 설계 가이드 라인을 제시할 수 있었다.
가상현실에서 야기되는 증상들에 대한 기초 연구에 기반하여, 인간이 가상 환경 내에서 가상 인터랙션을 통해 어떻게 인지하는지에 대한 패러다임을 제시하고자 하는 연구를 진행하였다. 더욱 향상된 가상 경험을 위해, 가상 환경에서 인간의 인지에 영향을 미치는 행동학적 요소들이 어떤 것들이고, 어떻게 영향을 미치는지와 같은 이슈들에 주목하였다. 즉, 어색하고 어설픈 핸드 인터랙션 및 눈과 핸드가 시간적으로 동기화 되지 않는 관계들에 관한 이슈들에 주목하였다. 우리는 사용자 경험에 영향을 미치는 시각적, 체감각적 요소 인자들을 관찰하고 분석을 수행하였다. 고안된 실험 작업의 결과로부터 가상 환경 내 자연스러운 사용자 경험에 영향을 미치는 주요 요소 인자들을 추론하였다. 주요 요소 인자들로는 오류 수행 횟수(success/failure trials), 수행 시간(duration time), 검지와 엄지의 굴곡 움직임(index-thumb flexion finger motion), 어색한 머리 움직임(awkward head motion), 최대 핸드 움직임 각(maximum arc length of hand transport), 선행적 손가락 벌림까지의 거리(distance-to-early-finger extension) 등이다. 실험 결과로부터, 제한적 시각적 정보가 가상 핸드 인터랙션의 만족감, 조작감 등과 같은 자연스러운 사용자 경험에 영향을 미친다는 것을 알 수 있었다. 실험 분석 결과에 기반하여, 자연스러운 인터랙티브 가상현실 애플리케이션을 제시하기 위해 어떤 시각적, 체감각적 인자들이 사용자 경험에 어떻게 영향을 미치는지를 설명할 수 있는 도식적 인터랙션 행위 다이어그램을 제시할 수 있었다.
차후, 우리의 연구는 가상현실 분야 이외의 분야와의 학제간 연구의 좋은 주제가 될 수 있을 것으로 생각된다.
