This thesis deals with the problems about the registration and the occlusion of virtual objects in real images and additionally the error minimization algorithm of lens distortion for AR system.
Motivation of this thesis is that we want to view virtual models of new structures in campus by our AR system. The given problems are formulated from the motivation and the problems are grouped into three parts. Those were registration, occlusion, and design problem of the AR system.
In the registration problem, the traditional methodologies can be divided into two groups. The groups are the camera calibration methods and the calibration-free methods. The calibration methods show accurate registration results by the internal parameters of the camera and the distortion coefficient of lens is applied to AR systems. On the other hand, the calibration-free methods show the high precision of the external parameters for registration. But the two images and non-coplanar 4 points are needed to construct the affine coordinates by the traditional methods.
We propose a hybrid registration method in this thesis, only one image is needed to construct and the affine coordinates can be constructed from at least 4 coplanar points. And translation and rotation of the virtual objects are determined at any position in the affine coordinates.
In the resolving methods for occlusion problem, the image flow methods in computer vision researches have been used to determine the depth information of the unknown real objects. Theoretically the relative image flows are determined from 6 measurement points in minimum condition. The image flows are obtained by the gradient methods or the matching methods and we use the gradient method. And the depth information is determined by the image flows of the segmentation results. As a result, the depth information is used for rendering of the virtual object that occluded with the real unknown objects and the usefulness of the registration method is verified.
Last problem is about the design of AR system. The proposed AR system adopts the dual-purposed see-through display concept and the misalignment error can be reduced. The AR system used a wide-angle CCD camera and we propose a recovery algorithm of the lens distortion.
In brief, the methodologies and the details of the implementation are described and the precision of registration is verified in the result section. The registration position can be established at any position in the affine coordinates of the image. And the perspective effect in the result images is directly verified. Also the virtual objects that occluded with real unknown objects are rendered and the procedure using image flows would be described. And our AR system is used for the experimentation and the AR system is proved that the system was wide enough to view the constructions in campus. Also the recovery algorithm is proposed to solve distortion problems caused by wide-angle lens.
As a result, the precise registration method and the prototype system of the dual-purpose video see-through HMD of the AR system are proposed. And the registration method in static and dynamic environment and the occlusion resolving method are proposed. The AR system is implemented to solve the registration problems in the motivations and is showed the feasibility of the dual-purpose video see-through HMD. The registration process, the details of implementation and the results are described in this paper.
본 논문은 가상현실의 응용 연구인 증강현실 연구에서, 잘 알려진 몇 가지 문제에 대하여 연구한 논문이다. 이 문제들 중에서 중요한 세가지 문제 즉, 가상 오브젝트와 실제 영상과의 registration문제, 가상 오브젝트가 모델링 되지않은 실제 오브젝트에 가려짐을 해결하기위한 occlusion문제, 그리고 컴퓨터로 생성된 3차원 오브젝트를 사용자의 시야와 카메라 시야에 정확히 일치시키기 위한 mismatch 문제에 대하여 다루고있다.
본 논문의 동기는 어떤 구조물을 설치하기 전에 미리 그 설치된 결과를 mono camera의 증강현실 시스템으로 보기 위함이며, 캠퍼스의 일반적인 위치에 가상 오브젝트가 정확히 생성되고 유지되어야 하며, 건물을 볼 수 있는 충분한 시야 및 가상과 실제의 오차를 최소화하여야 하는 요구를 조건으로 한다. 이 문제들을 해결하기 위하여 registration, occlusion 그리고 증강현실 시스템의 설계문제로 정형화 하였다.
Registration 문제에서, 기존의 방법들을 살펴보면 camera calibration방법론과 calibration-free방법론으로 구분할 수 있으며 이 방법들 중에서 증강현실에 사용할 수 있는 장점을 hybrid registration접근방식으로 채택하였다. 그 결과 기존의 camera calibration방법보다 external parameter의 정확성 즉 registration의 오차를 줄일 수 있었고 calibration-free방법보다 더 정확하고 광각의 카메라 렌즈를 사용하여 넓혀진 시야에서도 증폭된 왜곡을 줄일 수 있는 정확한 registration 결과를 볼 수 있었다. 또한 기존연구의 유사공간 최소조건을 초기영상 2장의 non-coplanar 4 points에서 1장 영상의 coplanar 4 points로 줄일 수 있는 방법을 증명하였다.
Occlusion문제에서, stereo camera를 이용한 기존의 연구와 달리 image flow기법을 사용하여 문제를 해결하는 방안을 제시하였다. 또한 시스템 설계에서는 기존의 STHMD와 VTHMD를 겸용할 수 있는 새로운 표시장치를 제안하였으며 보다 넓은 FOV와 눈과 camera위치의 mismatch 문제를 해결할 수 있는 방법을 제시하였다.
본 논문의 핵심은 위 세 문제의 해결방법을 말하고 있으며, 실험 결과에서, 본 논문에서 제시된 세 방법론들은 증강현실 시스템에서의 유용성을 증명하고 있다.
현재까지의 연구로는 증강현실 응용부분, 광고, 가상 스튜디오 및 영화의 특수효과 등에 사용가능하며 앞으로의 연구에서는 본 논문에서 반 자동으로 처리하고있는 tracking부분을 자동화하는 연구를 보강할 계획이다.