As mobile devices are enhanced in computational power and memory and developed into diverse types of hardware platform including smartphones, tablet PCs, and wearable devices such as smartglasses, mobile Augmented Reality (AR) technology for on-demand service has become significantly important. In order to develop the real-time AR framework for mobile devices two challenging problems are addressed in this thesis: scalability and unstructured environment. Both scalability and unstructured environment issues arise since the user of mobile AR often encounters new and diverse objects in the real world. The existing vision based AR frameworks for mobile devices however have limitations on scalability and constraints of environment. This thesis proposes two sensor fusion based methods to solve the limitations. First, a server-client based framework is proposed that achieves both efficiency and scalability for mobile AR. The scalability is achieved with a bag-of-visual-words based recognition module on the server side that is connected to the cli-ents, which are mobile devices, through a conventional Wi-Fi network. We also propose an efficient recogni-tion method for the server side in which metadata are provided by the sensors of mobile devices. On the client side, the coarse-to-fine tracking module enables robust tracking performance with natural features in real-time. Secondly, sensor-fusion based scene analysis using line graph for mobile AR is proposed to adaptively estimate structural planes such as floor and wall against the unstructured environment. The efficient genera-tion and energy minimization method for the line graph that consists of line features labeled by gyroscope are presented and demonstrated as AR application and indoor localization with about 20 fps. For each method we optimized modules in mobile devices for expediting pose-tracking processing and simultaneously enabled 3D rendering and animation in real-time. In the experiment, it takes approximately 0.2 seconds for the cold start of an AR service initiated on a 300K image database with a recognition accuracy of 97.68%, which should be acceptable for a variety of real-world mobile AR applications. Also the localization method based on the proposed line graph showed very accurate positioning with 2.82 cm accuracy. In discussion we discuss regarding the synergy from the integration of both methods as a complete AR framework.
모바일 기기의 컴퓨팅 파워 및 메모리의 성능이 향상되고 스마트폰, 타블렛 PC, 스마트 안경 등의 웨어러블 타입 등의 종류가 다양해짐에 따라 사용자에게 실시간으로 필요한 서비스를 제공해주는 모바일 증강현실 기술의 중요성이 대두되고 있다. 본 학위 논문은 모바일 기기를 위한 실시간 증강현실 프레임웍을 위한 두 가지 문제, 규모가변성과 비구조화 환경,을 다루고 있다. 규모가변성과 비구조화 환경 문제는 모바일 기기의 이동성으로 인한 새로운/다양한 종류의 물체를 접하게 됨으로써 발생하게 된다. 기존 시각 정보 기반 증강현실 프레임워크들은 규모가변성 및 환경에 대한 제약이 크게 주어진다. 본 학위 논문에서는 이를 해결하기 위해 센서 융합 기반의 두 가지 기법을 제안한다. 첫 번째 기법으로써 모바일 증강현실을 위한 규모가변성을 갖춘 새로운 서버-클라이언트 기반 프레임워크를 제안한다. 규모가변성은 서버 측의 Bag-of-visual-words 기법을 이용한 인식 모듈로 인해 이루어지며 실시간성 및 강인한 추적 성능은 클라이언트 측의 coarse-to-fine 기법을 이용한 추적 기법으로 인해 이루어지게 된다. 또한 센서로부터 받은 메타데이터에 기반하는 효율적인 인식 기법도 제안된다. 두 번째 기법으로써 비구조화 환경 내에서 바닥, 벽 등의 면 정보 추정을 위한 라인 그래프를 이용한 센서 융합 기반 장면 분석 기법을 제안한다. 본 논문에선 효율적인 라인 그래프 구성 및 에너지 최적화 기법이 제안되며 실험을 통해 20fps의 속도 성능으로 증강현실과 실내 위치 추적 기법을 구현하였다. 본 학위 논문에서 제안하는 기법들은 모두 최적화 기법을 도입하여 모바일 기기 상에서 포즈 인식 및 추적 기법과 3차원 실시간 렌더링을 동시에 수행할 수 있도록 하였다. 실험을 통하여 약 0.2초 안에 30만개를 대상으로 97.68%의 인식 성공률을 보임으로써 제안된 프레임워크가 실생활에서 사용될 수 있는 모바일 증강현실 프레임워크라는 것을 증명하였다. 구현된 실내 위치 추적은 2.82 cm의 정확한 위치 추적 성능을 보였다. 마지막으로 모바일 증강현실 프레임워크로써 두 가지 기법의 융합을 통해 얻게 되는 장점들을 언급한다.
