After the open source tool of marker based augmented reality, ARToolKit, has been released by Kato, many researchers have tried to find creative applications using AR. That kind of works is still ongoing. Although an almost complete tool is available, one restriction still exists; AR hardly can be implemented in small platform like cell phone or UMPC or small embedded system. AR is composed with 3 parts Vision, Pose Estimation and Graphics. The critical reason which blocks AR to be implemented in low cost is Pose Estimation part. To solve that problem, low-cost dedicated hardware for pose estimation is proposed. If this is combined with mobile graphics processor which can handle vision and graphics processes, Augmented Reality could be implemented in low cost. Therefore, the development of AR applications would be activated more. This work is based on ARToolKit. For low cost implementation, some part of algorithm is substituted with another algorithm and another some part, modification, is substituted with proposed method. By the proposed modification algorithm, final result of pose estimation has 35% less error and the processing time of modification is reduced to averaged 24%. This proposed pose estimation hardware is implemented and synthesized in 0.18um technology. The size is about 140,000 gate counts at 100MHz clock frequency.
증강현실이라는것은 실제를 기반으로 가상의 물체가 추가된 환경을 사용자가 느끼도록 하는 기술이다. 궁극적으로는 인체에 착용할 수 있는 3D 디스플레이가 필요하겠지만 기술적인 제약으로 인해 현재는 비디오 화면을 기반으로 널리 응용되고 있다. 실시간으로 촬영되는 비디오의 화면은 실제의 모습을 그대로 보여주게 되는데, 여기에 존재 하지 않는 물체가 존재하는 것처럼 보여줌으로써 증강현실을 구현한다. 자유롭게 움직이는 카메라의 위치에따라, 가상의 물체는 실존하는 물체들과 어우러져 자연스럽고 정확하게 표현 될 수 있어야 한다.
가상의 물체는 기하정보를 갖고 있는 공간상의 물체이기 때문에 3D그래픽스 기법을 활용하여 그려낸다. 보통 3D그래픽스는 쌍방향 방식의 PC게임에 많이 활용되는데, 이 경우에는 키보드, 마우스를 통해 들어오는 정확한 입력정보로 각각의 화면을 그려낼 수 있지만, 증강현실의 경우에는 연속적으로 촬영되는 그림들이 입력이기 때문에 이 그림들을 이용해 3D 렌더링을 위한 적절한 입력을 만들 필요가 있다. 이 과정은 크게 비전 프로세싱과 자세추정으로 나뉜다. 비전프로세싱은 이미지로부터 원하는 정보를 검색하는 용도로 사용되고, 검색된 데이터를 이용하여 원하는 최종 결과를 계산해 내는 과정을 자세추정이라고 한다. 이 과정을 쉽게 하기 위해 사각마커 기반의 증강현실이 널리 사용되고 있고, 본 연구도 그것을 기반으로 하였다.
증강현실의 쌍방향적인 특성을 이용하여 모바일 환경에서의 응용분야가 많이 개발되고 있다. 하지만 증강현실구현이 요구하는 높은 하드웨어 사양을 충분히 충족시키는 모바일 기기가 아직까지 전무하다. 이것은 그만큼 증강현실구현이 정확하고 많은 계산을 요구한다는 것이다. 이런 이유로 증강현실의 효율적 구현을 가능하게 하는 증강현실 가속 프로세서를 연구를 시작하였고, 본 연구에서는 주요 단계중에 하나인 자세추정단계가 하드웨어로 설계, 구현되었다.
널리 사용되는 공개용 증강현실 구현툴인 ARToolKit의 자세추정과정을 참조하였다. 자세추정은 마커와 카메라와의 기하적 관계를 얻는 과정으로써, Rotation과 Translation부분으로 나뉜다. Rotation 을 얻는 방법은 ARToolKit의 방법이 그대로 사용되었고, Translation은 기존방법이 하드웨어 구현에 적절치 않아 Lu의 방법을 사용하였다. 마커를 사용한 증강현실의 자세추정단계는 입력화면에 항상 존재하는 노이즈에 민감하기 때문에 이를 보정하는 Modification단계가 필수적이다. 계산된 Rotation과 Translation을 이용하여 Rotation부분을 수정하는 것이다. 이 단계는 보통 반복적인 계산을 통해 에러를 줄여나가는 방식으로 진행되기 때문에 많은 계산과 시간이 필요하다. 기존의 수학적 해법에 관한 연구에서는 Square Matrix의 Singular Value Decomposition이라는 복잡한 과정이 사용되었기 때문에 저비용의 하드웨어 가속기 설계에 적합하지 않았고, ARToolKit에 사용된 방법은 조금 더 쉽게 구현이 가능하지만 효율적이진 않았다. 본 연구에서는 자세추정의 가속을 위한 하드웨어 설계와 함께 저비용구현이 가능한 Modification 알고리즘을 제안하였다. 기존 방법이 Rotation 행렬로 부터 세 개의 각도를 추출해 내기 위해 복잡한 컨트롤과 많은 삼각함수를 사용한 데에 비하여, 제안된 방법은 각도의 추출과정 없이 Rotation 행렬을 직접 조정함으로 인해 간단하게 구현될 수 있다.
제안된 Modification 방법과 대체된 Translation 계산방법의 기능적 검증을 위하여 ARToolKit의 코드를 수정하였고, 실제 증강현실 화면을 보면서 결함이 없음을 눈으로 확인하였다. 추가적인 검증을 위하여 약 1000개의 화면에 대한 데이터를 추출하여 기존 방법과 제안된 방법으로 Error가 얼마나 어떻게 줄어드는지를 측정하였다. 제안된 Modification방법은 더 나은 Sampling을 통해 더욱 효과적으로 Error을 줄여 나감으로써, 약 24% 성능향상과 약 35%의 최종 오차의 감소를 얻어냈다.
0.18um CMOS공정으로 합성한 결과 약 14만 게이트 정도의 크기로 합성되었다. 비전과 그래픽스 부분을 담당할 통합 병렬 프로세서와 함께 증강현실을 위한 SoC를 구현하기에 문제가 없는 크기라고 할 수 있다. 이러한 저비용의 증강현실 프로세서가 사용되면 증강현실 구현의 부담이 현저히 줄어들 것이고 많은 소형 장치에서 증강현실이 가능하게 되어 창의적인 어플리케이션들이 자유롭게 개발 될 수 있을 것이다.
