The aim of a virtual reality system is to offer a variety of experiences similar to the physical world. Conventional virtual reality systems have focused on visually representing users and their environment using head-mounted displays and arrays of sensors. The interface connecting a user to a virtual world requires a large workspace and, thus, reducing a system’s form factor to make it portable and lightweight has been key. These technologies enable enhanced interaction with 3D media, such conventional interfaces offer a limited experience to users by restricting the representation of virtual geometry and producing unnatural physical behavior. To resolve these limitations, haptic feedback is often employed to provide realistic sensations during immersive interactions. The haptic feedback in portable interface method supports the penetration of a user’s hand into an object, and is acceptable for the selection and manipulation of objects, but makes it difficult to express events lacking contact or collision. To overcome this shortcoming, enhancing the expressiveness of mobile devices has been considered. Studies have focused on changing the form factor of mobile devices from rigid to malleable to express information virtually and physically. This enables bi-directional interaction between the physical and virtual worlds, significantly enhancing usability and the realism of the interaction with a virtual world.
Based on earlier work on tangible interfaces, we proposed a novel 3D-interaction system based on a shapechangeable mobile interface. We utilized multiple serially linked line segments to physically collocate virtual objects in real space. More specifically, the proposed system provides users with geometric information by physically enclosing the target virtual object with its outer shape. To this end, we further propose an algorithm that controls each joint of the system such that the corresponding links are aligned with the virtual surface, based on an active-contour model. An experiment was conducted to verify the proposed interaction scheme under which geometric information is provided in the form of the mechanical shape change of the interface. From the results of our experiment, we found that the proposed method succeeds as a method for interacting with 3D virtual objects, provided that only a mobile interface is used. We conclude this dissertation with a discussion of further work and limitations of the proposed approach and a set of applications where the proposed interface system could be used.
현재의 가상 환경 시스템은 다양한 감각 모달리티를 활용하여 사용자에게 가상의 환경에서 도 실제와 유사한 감각을 제공하는 시스템으로 발전하였다. 사용자의 움직임을 반영하는 인터페 이스는 사용하기 가볍고 넓은 작업 공간의 제시가 가능한 휴대 단말 인터페이스를 주로 사용하고 있다. 하지만 휴대 단말 인터페이스는 사용자와 가상 환경 사이의 상호작용에 대한 피드백 생성 에 있어서는 부족한 면을 보이고 있다. 이러한 피드백의 부재는 사용자에게 가상 환경에서의 작 업, 특히 물체와 접촉과 관련된 작업에서 성능 및 몰입감의 저하를 초래한다. 따라서 더 나은 성 능과 몰입감을 제공하기 위해서는 사용자와 가상 물체 사이에서 발생하는 다양한 정보의 전달을 표현할 수 있는 휴대 단말 인터페이스의 연구가 필요하다. 이에 대한 연구들 중 하나로, 형상 변 화 기반의 실감 인터페이스(Tangible interface)를 통하여 가상 환경과 실제 환경 사이의 양방향 정 보 전달을 가능하게 하려는 연구가 진행되고 있다. 본 논문은 형상 변화가 가능한 실감 인터페이 스를 제안하고, 시각 및 관성력을 통한 전달이 반력을 전달할 수 없는 가상 환경안에서도 물체의 형상과 깊이 정보를 전달할 수 있을 것이라 가정하였다. 이에 대한 구현은 Active contour model 을 기반으로 하는 다관절 선분 기반 커서 및 이를 물리적으로 재현할 수 있는 직렬 링크 기반 형상 변화 인터페이스를 제안한다. 이를 통해 가상 환경에서 막대 형상의 도구를 이용하여 물체를 조 작하는 듯한 경험을 제공하고, 연속적이고 다각화 형상 및 깊이 정보를 전달할 수 있다. 이에 대 한 성능을 검증하기 위해 궤적 및 역동역학 분석을 통해 제안하는 방법이 실제와 유사한 반응을 보이며, 가상 물체의 형상 정보를 제공할 수 있음을 확인하였다. 또한, 사용자 평가를 통해 제안 하는 방법을 통해 가상 물체의 형상 정보를 전달할 수 있음을 확인하였다. 이와 같은 결과는 제 안하는 형상 변화 실감 인터페이스가 가상 환경 시스템에서 향상된 몰입감 제공할 수 있음을 확 인하였으며, 추후 장치의 경량화 및 표현의 다각화와 성능 비교 평가를 가상 물체의 조작과 관련 되어 향상된 성능을 제공할 수 있음을 확인할 것이다.
