This dissertation proposes a method for utilizing wearable muscle sensing technology to recognize users' hand force and touch information in the context of mixed reality (MR) environments and to enhance hand-based interactions and collaborations. Although mixed reality technologies, encompassing augmented reality (AR) and virtual reality (VR), have advanced, hand-based interactions for real-virtual 3D interactions heavily rely on visual information provided by head-mounted displays, leading to limitations that hinder natural and effective interactions. To address this, a comprehensive framework is proposed in this dissertation for integrating wearable muscle sensing technology into MR interactions and collaborations, considering the user's posture, interacting objects, and sensor signals. Furthermore, a system is developed that applies wearable electromyography (EMG) sensors to measure the hand force of a worker in an MR remote collaboration system. The impact of visualizing the worker's hand force on the collaborator's task awareness is evaluated through user studies. The visualization of hand force data positively influences task comprehension, force perception, object weight estimation, and the collaborator's sense of social presence. Moreover, this dissertation proposes a system that utilizes EMG sensors to estimate accurate touch events and touch intensity in MR interactions. The system demonstrated the capability to enable touch interactions that utilize force information, leveraging all fingers for precise and force-sensitive touch within mixed reality. In conclusion, the research findings contribute to the improvement of MR interactions and collaborations by utilizing muscle sensing technology to provide additional force information and accurate hand gesture recognition, alongside users' hand information, in mixed reality interaction and collaboration scenarios.
본 학위논문은 혼합 현실 환경 내에서 웨어러블 근육 감지 기술을 활용하여 손 기반 상호작용 및 협업을 개선시키는 방법을 제안한다. 증강현실, 가상현실을 아우르는 혼합현실 기술이 발전하고 있으나, 사용자가 실제 및 가상 환경과 3차원 상호작용을 하기 위해 사용되는 손 기반 상호작용은 착용형 헤드셋에서 주어지는 시각적 정보에 의존하고 있으며, 이에 따른 한계점들이 자연스럽고 효과적인 상호작용을 저해하고 있다. 이를 해결하고자, 본 학위논문에서는 먼저 혼합현실 상호작용과 협업에 착용형 근육 감지 기술을 통합하기 위한 포괄적인 프레임워크를 제안한다. 다음으로 착용형 근전도 센서를 활용하여 작업자의 손 힘 정보를 측정하여 혼합 현실의 원격 협업 시스템에 적용하는 시스템을 개발하고, 사용자 평가를 통해 원격 협업 상황에서 작업자의 손 힘을 시각화하는 것이 협업자의 작업 인식에 미치는 영향을 평가하였다. 손 힘 데이터의 시각화는 작업 이해, 힘 인식, 물체 무게 추정 및 원격 전문가의 사회적 공존감에 긍정적 영향을 미침을 확인하였다. 나아가, 본 논문은 근전도 센서를 활용하여 혼합현실 상호작용에서 정확한 터치 이벤트 및 터치 강도를 추정하는 시스템을 제안한다. 이 시스템은 모든 손가락을 활용하여 사용자가 혼합현실 내에서 정확하며, 힘 정보를 활용하는 터치 상호작용을 가능하게 함을 보였다. 종합적으로, 본 연구 결과는 혼합현실 상호작용 및 협업 상황에서 사용자의 손 정보와 더불어 근전도 신호를 활용하면 추가적인 힘 정보와 정확한 손 동작 구분을 통해 상호작용을 개선하는 데 기여함을 보인다.
