For an augmented reality application to be realistic, exact tracking of target objects is essential. However, recent mobile augmented reality applications such as location or recognition-based applications lack realism in augmentation due to inexact tracking methods. Visual tracking based tracking is capable of being exact and robust, but in a mobile augmented reality system, the number of objects that can be augmented is far limited. In this paper, we propose a new framework that overcomes the limitations of the previous works. First, our framework is scalable to the number of objects being augmented. Second, our framework provides an improved and realistic augmentation by adopting a real-time accurate visual tracking method. To the best of our knowledge, there has been no system proposed successfully integrating both of these properties. To achieve scalability, the bag of visual words based recognition module with a large database runs on a remote server and the mobile phone tracks and augments the target object by itself. The server and mobile phone is connected by conventional Wi-Fi. Including network latency, our implementation takes 0.2 seconds for initiating an AR service on a 10,000 object database, which is fairly acceptable for a real-world augmented reality application.
최근 스마트폰의 고 성능화와 대중화에 힘입어, 모바일 기기에서의 증강현실이 앞으로 미래를 바꿀 새로운 기술 중 하나로 주목 받고 있다. 증강현실의 새로운 인터페이스로서의 잠재능력과, 모바일 기기의 자유로운 이동성 및 모든 사람이 소유하고 있다는 대중성이 만남으로써, 그 파급효과는 상상을 초월할 것으로 예상되고 있다. 이러한 와중에, 기존의 증강현실 기술은 외부 환경의 조작과 사용자에게 불편을 주는 마커 기반의 증강현실에서 벗어나 마커리스 기반의 증강현실로 그 기술의 추이가 넘어가고 있으며, 현재 이를 모바일 기기에 적용하여, 모바일 기기에서도 마커리스 기반의 증강현실이 가능함을 보여준 연구가 최근 발표, 시장에 적용되고 있는 시점에 있다. 본 연구에서는 이러한 시점에서 한 발 더 나아가, 모바일 기기에서 증강현실이 완벽하게 구현 된 이후 필요하게 될, 무한대로의 확장 가능한 증강현실 서비스 프레임웍을 제안하고자 한다. 이는 모바일 기기가 태생적으로 용량 한계에서 자유로울 수 없다는 사실에 근거하며, 이를 극복하기 위해 서버 클라이언트 모델을 사용, 서버에는 확장 가능한 인식 모듈을 통해 대량의 사전 학습된 물체에 대해 인식을 수행하고, 모바일 기기에서 하나 또는 몇 개의 물체에 대해 증강현실을 수행함으로써 이루어진다. 확장 가능한 인식 모듈을 위해서 기존의 컴퓨터 비전 분야에서 연구되고 있었던 단어 트리(Vocabulary tree)를 적용하였으며, 이를 실시간 서비스의 수준으로 끌어올리기 위하여 일정 부분을 재 설계 하였다. 모바일 기기에서의 검출 및 추적기술은 기존의 발표된 연구를 적용하였으며, 실내의 증강현실 환경에서 충분한 성능을 보임을 증명하였다. 이를 인터넷 기반의 서버 클라이언트로 구성하여, 10,000장의 음악 CD를 인식, 해당 CD에 관련된 뮤직 비디오의 한 장면을 뿌려주는 구현을 통해 제시된 프레임웍이 정확성 및 속도 면에서 타당함을 증명하였다. 추후 연구로, 제시된 프레임웍이 인터넷 환경여하에 실시간성이 떨어 질 수 있으므로 기존의 네트워크 분야에서의 방법론을 적용하여 인터넷환경의 과부하에 대해 적절히 대응 할 수 있는 방법이 보완되어야 할 것으로 보인다. 또한 많은 경우 증강현실이 3차원 모델을 증강하기 때문에, 용량이 큰 3차원 모델을 계층에 따라 상세하게 표현하는 LOD(Level of detail)방법을 적용하여 실시간 서비스를 제공하는 연구 또한 추후 연구로 타당하다.
