An augmented book is an application that augments such multimedia elements as virtual 3D objects, movie clips, or sound clips to a conventional book using augmented reality tech-nology. It can provide better understanding about the contents and visual impressions for users. For augmented books, this paper presents a markerless recognition and tracking method which recognizes and tracks a large number of pages in real-time, even on PCs with low computation power. For fast recognition with respect to a large number of pages, this paper proposes a generic randomized forest that is an extension of a randomized forest. In addition, this paper defines the spatial locality of the subregions in an image to resolve the problem of a dropping recognition rate under a complex background. For tracking with minimal jittering, this paper also proposes the adaptive keyframe-based tracking method, which automatically updates the current frame as a keyframe when it describes the page better than the existing one. Consequently, the proposed method can recognize at 25 fps and track at 60 fps over 200 pages on a single core CPU running at 1.2 GHz and a camera resolution of 640x480.
Augmented Book은 증강현실 기술을 이용하여 카메라를 통해서 입력되는 책 영상에 3차원 컴퓨터 그래픽, 영상물, 음성 같은 멀티미디어적인 요소들을 합성시키는 증강현실 어플리케이션이다. 이것은 학습자에게 시각적인 감동과 조작감을 제공함으로써 학습자들이 더욱 컨텐츠에 몰입하고 컨텐츠를 보다 잘 이해할 수 있도록 도움을 준다. Augmented Book을 위해 본 논문은 무표지 인식 및 추적 기법을 제안했다. 제안한 기법은 많은 수의 페이지를 인식할 뿐만 아니라 저성능의 PC, 저성능의 카메라, 복잡한 배경 아래에서도 매우 빠르고 강인하게 페이지를 추적할 수 있다. 많은 수의 페이지를 빠른 속도로 인식하기 위해서 Randomized Forest를 확장한 Generic Randomized Forest를 제안했다. Generic Randomized Forest는 페이지 인식과 동시에 특징점 매칭을 수행하는 방법으로서 Randomized Forest의 재사용성을 극대화하였다. 또한 복잡한 배경 아래서 페이지 인식의 어려움을 해결하고자 전체 영상에 대해서 Generic Randomized Forest를 적용하는 대신, 영상을 서브영역으로 나누고 각 서브영역에 대해 Generic Randomized Forest를 적용한 결과를 바탕으로 Spatial Locality를 탐색하는 기법을 제안했다. 이 인식 기법은 동시에 여러 페이지를 인식하는 환경에서도 적용될 수 있음을 본 연구를 통해 밝혔다. 빠르고 떨림현상이 적은 추적을 위해서 본 연구에서는 적응형 키프레임 기반 추적기법을 소개했다. 키프레임 기반 추적은 추적시 표류현상이 발생하지 않는 장점이 있지만 떨림현상이 발생하는 단점이 있다. 이를 극복하기 위해서 현재 영상 스트림 중 추적에 적합한 영상으로 키프레임을 업데이트하는 기법을 고안했다. 또한 블러링에 강한 추적을 위해서 특징점 매칭을 coarse 단계와 fine 단계로 나누고 coarse 단계는 이미지 피라미드의 가장 상위 레벨 영상에서, fine 단계는 하위 레벨 영상에서 수행하였다. 200 페이지를 대상으로한 인식 실험 결과, SURF 기반의 인식 기법보다 낮은 94%의 인식률을 보였지만 속도 측면에서는 월등한 인식 속도를 보였다. 또한 적응형 키프레임 기반 추적이 고정형 키프레임 기반 추적보다 훨씬 적은 떨림현상을 보인다는 것을 실험적으로 검증했다. 그리고 페이지를 심하게 기울이는 상황, 페이지의 크기가 극단적으로 변하는 상황, 조명이 변하는 상황, 부분적으로 가려지는 상황 등 다양한 환경 아래서도 안정적으로 페이지를 추적하는 것을 확인했다. 또한 제안한 기법은 싱글코어 1.2 GHz CPU를 장착한 저성능의 PC에서도 640 x 480입력 영상에 대해 인식시 25 fps, 추적시 60 fps를 보일 정도로 빠르게 수행된다. 본 연구에서는 제안한 기법을 이용하여 동물 책에 3차원 동물 모델과 동물 울음소리를 합성한 Augmented Animal Book을 개발하였고 그 외에도 이 기술을 활용하여 모바일 가이드 어플리케이션과 체험형 모바일 게임 어플리케이션에 적용하였다.
