The natural and unobtrusive virtual reality user interface (NUVRUI) could gradually replace the current desktop/mobile workspace, but since VR UI is fundamentally different due to unique input/output devices, many new usability problems would arise. Therefore, comprehensive research that embraces major interactions with the VR UI needs to be conducted, especially for the mid-air gestural input. Six studies targeted for three major interactions (locomotion and distant/near selection) were conducted.
The first study elicited and evaluated walking-in-place (WIP) gestures for forward, sideways, and backward walking directions from users, proposing Stepping-in-place (SIP) for forward and Step one foot + SIP/Rock/Stay for other directions. The second study proposed a WIP technique for omnidirectional locomotion based on a single RGB camera utilizing OpenPose, inducing more stable walking and better subjective evaluation at non-frontal tracking. The third study proposed the ViewfinderVR technique, a virtual viewfinder panel with the Through-the-lens metaphor, resulting in better performance and lower perceived workload than traditional raycasting for selecting distant objects. The fourth study proposed a variant technique named TouchView that the virtual panel large enough to cover the whole view follows the head to minimize panel configuration. The fifth study investigated the effect of four pseudo-haptic features: proximity feedback, protrusion, hit effect, and penetration blocking to compensate for the lack of haptic feedback of mid-air button interaction, where all features positively affected user experience. The sixth study utilized pseudo-haptic and thumb-to-finger self-haptic pinch approaches on a virtual keyboard and achieved comparable typing performance and perceived workload, but better user experience and preference without additional wearable devices.
The research outcome could enhance the scientific understanding of VR UI and human interactions in VR. In addition, the established novel interaction framework and research methods to effectively interact with the NUVRUI will serve as a useful reference for developing VR applications with better usability.
자연스럽고 비간섭적인 가상현실 사용자 인터페이스(NUVRUI)는 점차 현 데스크탑/모바일 기반의 작업공간을 대체할 수 있으나, VR UI는 고유 입출력 장치로 달라 새 사용성 문제가 발생해 공중 제스처 기반 주 상호작용 개선에 대한 연구가 필요해 세 주 상호작용(보행, 원/근거리 선택)에 대한 여섯 연구를 수행했다.
연구 1은 사용자로부터 앞, 옆, 뒤의 보행 방향에 대한 제자리걷기 제스처를 도출, 평가해 앞은 스텝, 그 외는 디딤+스텝/흔듦/머묾를, 2는 오픈포즈로 비정면 보행 안정, 주관평가를 높인 RGB 카메라 기반 전방향 보행 기법을 제안했다. 3은 레이캐스팅보다 먼 물체 선택 성능을 높이고 작업 부하를 줄인 렌즈통과은유, 가상패널기반 뷰파인더VR 기법을, 4는 설정 최소화를 위해 패널이 시야를 덮고 따라가는 터치뷰 기법을 제안했다. 5는 버튼 상호작용의 촉각 부재 보완을 위해 근접 피드백, 돌출, 타격 효과, 통과 방지의 모조촉각으로, 6은 웨어러블 장치 없이 모조촉각, 핀치 자가촉각 기반 가상 키보드로 성능 및 작업 부하는 같으나 사용자 경험을 향상시켰다.
연구 결과는 VR UI 및 인간 상호작용에 대한 과학적 이해도를 향상시켰고 NUVRUI와의 새로운 상호작용 프레임워크, 연구 방법론은 VR 어플리케이션 개발에 유용한 참고 자료가 될 것이다.
