Unlike existing mobile devices - with a small display - AR/VR devices can display Desktop GUI without depreciation. We propose Palm&Fingers interaction technique that can maintain interaction skills and practice of Desktop - even in a desk-less mobile situation. The technique utilize the palm as a trackpad and the finger as a shortcut. Exploring whether using Desktop applications with Palm&Fingers is possible: 1) we quantified the palm-trackpad performance, 2) we quantified the finger-shortcut performance, and 3) we explored the remaining challenges of Palm&Fingers on the use of the real Desktop application. The results show that Palm&Fingers has sufficient interaction performance and can be improved by designing 1) rules to define a trackpad-shortcut area and 2) quasi-mode interaction.
작은 화면을 가진 기존의 모바일 장치와 달리 AR/VR 장치는 모바일 상황에서 눈 앞에 데스크톱 GUI를 그대로 띄워줄 수 있다. 우리는 책상이 없는 환경에서도 데스크톱과 같은 인터랙션 스킬과 경험을 그대로 유지할 수 있는 Palm&Fingers 인터랙션 테크닉을 제안하고자 한다. Palm&Fingers는 한 손의 손바닥을 트랙패드로 손가락 각 마디를 키보드 쇼트컷으로 사용하는 인터랙션이다. 우리는 본 인터랙션을 활용해 데스크톱 GUI를 그대로 사용할 수 있는지 확인하기 위해 1) 손바닥 트랙패드의 퍼포먼스를 정량화하고 2) 손가락 쇼트컷의 퍼포먼스를 정량화한 후 3) Palm&Finger로 실제 데스크톱 어플리케이션을 사용할 때 어떤 문제가 존재하는지 탐색했다. 그 결과 Palm&Fingers는 데스크톱 어플리케이션을 사용하기에 충분한 인터랙션 퍼포먼스를 가지나 1) 트랙패드-쇼트컷 영역을 정의하는 방법과 2) 콰시 모드 디자인을 통해 개선될 수 있음을 보였다.
