We propose ‘SyncPIE’, an innovative mobile heads-up information system that combines AR head-worn devices with smartwatch bezel-based input to address the challenges of low accuracy and divided attention in mobile augmented reality interaction. Despite the potential of the bezel-initiated touch gesture of smartwatches for eye-free interaction in a mobile context, its application in AR environments has not yet been fully explored. The SyncPIE system includes GlancePIE, an AR interface with a three-layer hierarchical pie menu allowing users to quickly view multiple options, and TouchPIE, which includes three bezel-based smartwatch touch interfaces designed for input without looking at the watch. Among the interfaces are the bezel-initiated BTS (Bezel-to-Slide) and BTap (Bezel-Tap), along with newly developed STB (Slide-to-Bezel), all tailored for AR integration. To investigate the potential of smartwatches bezel-based mobile interaction, we conducted two studies evaluating TouchPIE’s performance, usability, and social acceptability in both standing and walking scenarios. The STB method outperformed other bezel-initiated gestures in terms of speed, accuracy and usability. In addition, when evaluating the trade-offs and benefits of dual device use, the STB method demonstrated faster and better usability as well as lower mental load and arm fatigue compared to mid-air gestures, particularly in walking scenarios. This research opens new possibilities for mobile extended reality interaction methods in smartwatch and AR environments.
본 연구는 모바일 확장 현실 상호 작용에서 낮은 정확도와 주의 분산 문제를 해결하기 위해, 안경형 AR 기기와 스마트워치 베젤 기반 터치입력을 결합한 모바일 헤드업 정보접근 시스템 ‘SyncPIE’ 를 제안한다. 모바일 맥락에서 스마트워치의 베젤시작 터치제스처의 잠재력에 불구하고, 아직 AR 환경에서 상호작용은 충분히 탐색되지 않았다. ‘SyncPIE’ 시스템은 한눈에 여러 옵션을 볼 수 있는 3단계 계층 파이 메뉴인 AR 인터페이스 ‘GlanePIE'와 워치를 보지 않고 입력가능한 세개의 베젤 기반 스마트워치 터치 인터페이스인 ‘TouchPIE'로 구성되며, 기존의 베젤 시작 제스처(BTS (Bezel-to-Slide), BTAP (Bezel-Tap))와 새로 제안된 STB (Slide-to-Bezel)으로 포함된다. 스마트워치의 모바일 베젤 기반 상호작용 가능성을 탐색하기 위해, TouchPIE의 성능, 사용성, 사회적 수용성에 초점을 맞춰 두 가지 실증적 연구를 수행했다. STB 방식이 서 있거나 걷는 상황에서 속도, 정확성, 사용성 면에서 기존 베젤 시작 제스처 방식들보다 우수함을 보였다. 또한, 이중장치 사용의 코스트와 이점을 평가하기 위해 STB와 핸드제스처를 비교했을 때, STB는 걷는 상황에서 더 빠르고 높은 사용성, 낮은 정신적 부하와 적은 팔의 피로도, 긍정적인 사회적 수용도를 보여줬다. 본 연구는 스마트워치와 AR 환경을 결합한 모바일 확장현실 상호작용 방법에 새로운 가능성을 보여준다.
