Many applications for generating and authoring 3D contents are dependent on interaction and visualization on a 2D screen. There were various applications using 3D interaction to overcome the limited interaction in the two dimension. Those applications, however, require the special tools for interaction or marker-based techniques for scene recognition and tracking. Both approaches make the applications less intuitive and uncomfortable especially when one creates and manages 3D objects in the contents. In order to overcome these limitations, this paper proposes a novel application which generates 3D contents such as 3D games, 3D animations, and 3D movies in this paper. In proposed method we make use of augmented reality (AR) techniques and marker based hand gesture recognition for intuitive and natural interaction with users. To get the specific information of an open set, this paper uses real-time object recognition and markerless tracking based on generic randomized forest (GRF) which facilitates the use of mobile devices like tablet PCs, ultra-mobile PCs (UMPCs), and smart phones as 3D content generation tools. Since in general it is difficult to generate realistic 3D contents on the mobile devices in real-time, proposed method apply a server-client model to this application so as to separate content construction and scene generation. Based on techniques mentioned above, we develop an interactive and easy-to-use AR application using marker based hand gestures for not only experts in the related fields but also general users and show the novelty and the efficiency of this proposed approach via making a short 3D animation, ‘Ghost Hunter`.
3D 콘텐츠를 만들고 작성하는 많은 어플리케이션은 2D 스크린에서의 인터렉션(interaction)과 비주얼라이제이션에 많이 의존하고 있다. 이러한 방식을 사용하면 어플리케이션의 직관성이 떨어지고 콘텐츠 내에서 3D 개체를 만들어 관리하려고 할 때 특히 불편함을 느끼게 된다. 이러한 제약 사항을 극복하기 위해, 본 논문에서는 모바일 장치를 사용하는 AR 기술을 기반으로 인터렉티브 3D 콘텐츠 생성을 위한 새로운 어플리케이션을 제안하였다. 제안한 시스템은 AR 기술의 장점을 사용하여 사용자에게 직관적인 인터렉션을 제공할 수 있다. 따라서 사용자는 3D AR 공간에서 보다 효율적으로 AR 개체와 인터렉션 할 수 있다.
GRF 기반의 실시간 물체 인식 및 마커리스 트래킹 기술 덕분에 제안한 방법은 실제 오픈 세트와 AR 공간을 이음매 없이 통합할 수 있을 뿐만 아니라 실시간으로 카메라 웍을 생성할 수도 있다. 또한 제안한 시스템은 간단한 마커기반 인터렉션을 사용하여 사용자에게 손쉽고 편리한 인터페이스를 제공하였다.
GRF는 알고리즘이 일반적인 모바일 장치에서 실시간으로 수행될 수 있도록 계산 복잡성과 메모리 요건을 유지하면서 장면 인식 및 키포인트 인식을 동시에 효율적으로 처리한다. 제안한 기법에서는 GRF를 부분적 모델-기반의 인식 및 트래킹에까지 확장하였다.
위에 언급한 기술들을 바탕으로, 관련 분야의 전문가들뿐만 아니라 일반 사용자들에게도 사용하기 간편한 쌍방향 대화식의(interactive) 3D콘텐츠 제작 시스템을 개발하였고 간단한 3D애니메이션인, 고스트 헌터(Ghost Hunter)를 통해 제안한 접근 방법의 새로움과 효율성을 보여주었다.
제안된 방식에서는 사용자와의 인터렉션을 위해 몇 마커기반 인터렉션 기법을 사용하였다. 향 후 연구에서 이러한 인터렉션을 복잡한 손 동작과 몸 동작으로 확장할 예정이다. 본 논문에서는 2D 비전 센서만을 사용했지만 실제 3D 공간을 보다 확실하고 효율적으로 인식하기 위해 3D 깊이 센서를 사용할 예정이다.
