In spite of the development of computer haptics technology, haptic devices and haptic interactions are not yet popular means of interaction between humans and computers. While having numerous software programs which support such technology is important key for dissemination of computer haptics, various challenges thought to obstruct the active development of such software remain. Aside from the usability issue in comparison with the ubiquitous computer mouse, in terms of software development itself, the downside of additional complexity and/or the harsher performance requirements which come with the implementation of haptics technology are also seen as formidable obstacles.
To support the wide dissemination of computer haptics technology through software development, we present techniques by which generic haptic devices can easily be utilized with existing interactive 3D graphics applications without complicated work. First, we propose a system which generates force feedback of a rendered scene from existing OpenGL-based graphics applications. The depth map of the target program is captured and transmitted for depth map-based haptic rendering to the base module with haptics capabilities. However, the haptic rendering itself is unlikely to make the target program useful when the target program uses the mouse as the main control interface. Therefore, as a second contribution, we developed a novel way to replace the existing mouse interaction with interaction using a haptic device. The proposed interaction technique enables immersive haptic feedback from the geometry of a rendered scene while the user navigates virtual environment using the haptic device handle at the same time.
All of the work described in this thesis is integrated into a software framework composed of an execution base and a DLL module that is injected into a target program. We conducted two experiments to verify the actual usefulness of our system. First, the graphics rendering performance was measured to determine the impact of the depth map capturing and transmission process. Second, a user study was conducted to demonstrate both the qualitative and quantitative usability of our interaction technique. We expect that the proposed haptics system will not only provide additional opportunities for users to have haptics experiences with interactive 3D graphics, but will also provide additional opportunities for developers to develop new haptics-enabled applications with this useful prototyping tool.
컴퓨터 햅틱스 기술의 발전에도 불구하고, 햅틱 장치 및 이를 활용한 상호작용은 일반적인 컴퓨터 사용자들에게 잘 알려져 있지 않다. 햅틱스 기술을 활용한 응용프로그램의 너른 개발이 햅틱스 기술의 보급에 중요한 요소가 될 수 있으나 이를 가로막는 여러가지 요인들을 생각해 볼 수 있다. 무엇보다 햅틱 장치로는 마우스의 탁월한 사용성을 압도하기 어렵고, 소프트웨어 개발 자체 측면에서만 보더라도 추가적인 쓰레드에 의한 코드 복잡도 증가나 그래픽스 렌더링보다 혹독한 성능 조건 등도 만만치 않은 장애 요인이다. 햅틱스를 활용한 응용프로그램은 이러한 어려움을 감수할 만한 효과가 보장되어야 개발이 가능해 질 것이다.
본 논문에서는 기존에 개발된 대화형 3차원 그래픽스 응용프로그램에 범용 햅틱 장치를 손쉽게 활용하는 방안을 제시하여 컴퓨터 햅틱스가 제공하는 추가적인 기능들을 보다 수월하게 적용할 수 있도록 하고자 한다. 일차적으로 기존에 개발된 OpenGL 기반의 그래픽스 응용프로그램의 렌더링 된 장면에서 피드백 힘을 얻어내는 시스템을 제안한다. 이 시스템에서는 대상 응용프로그램에서 깊이맵을 가로채 와서 깊이맵 기반 햅틱 렌더링을 수행하게 된다. 그러나 대상 프로그램이 마우스를 주 입력 수단으로 사용하는 상황에서는 햅틱 렌더링만으로 대상 프로그램을 실질적으로 유용한 햅틱스 응용프로그램으로 만들기는 어렵다. 따라서 두번째로는, 이러한 상황에서 마우스 상호작용을 대체할 수 있는 햅틱 상호작용 방법을 제안한다. 제안하는 상호작용 기법을 통해 햅틱 장치를 사용하여 가상 환경을 조작하는 동시에 렌더링된 장면에서 몰입도 있는 햅틱 피드백을 얻어낼 수 있다.
본 논문에 서술된 모든 기술적인 요소들은 실행 베이스 모듈과 대상 응용프로그램으로 주입되는 DLL 모듈의 두 모듈로 구성된 소프트웨어 프레임워크에 통합이 되었다. 제안하는 시스템의 실질적인 유용성을 입증하기 위해 두 가지 실험을 진행하였다. 첫번째로 대상 프로그램에서 깊이맵을 추출해 내고 전송하는 과정에서 발생하는 성능 저하를 측정하기 위한 실험이 진행되었으며, 두번째로는 상호작용 수단에 대한 정성적, 정량적 평가를 위해 사용자 평가를 진행하였다. 본 연구에서 제시한 햅틱스 시스템을 통해 한편으로는 보다 많은 3D 그래픽스의 사용자들이 햅틱스를 경험할 기회를 얻게 되고, 또 한편으로는 효과적인 프로토타이핑 수단으로 활용이 되어 햅틱스를 응용한 소프트웨어가 더 널리 개발되는 데에 도움이 될 수 있기를 기대한다.
