The physical world around us is three-dimensional (3D): yet traditional cameras and imaging sensors are only able to acquire two-dimensional (2D) images that lack the depth information. This fundamental restriction greatly limits our ability to perceive and to understand the complexity of real-world objects. To overcome such limitations, various 3D reconstruction technologies have been evolved.
In particular, the reconstruction of a static object is worth in terms of the utilization in various fields such as research, development or commecial application. Among them, using a structured light approach for the reconstruction of static objects has been usually used in terms of accuracy.
In this thesis, we propose a novel structured light-based multiple-view stereo system to acquire accurate 3D information of static objects. Our system consists of three main components: (i) Iterative Closest Point(ICP)-based motion estimation, (ii) Multiple-View Stereo(MVS) based 3D refinement and (iii) Photometric Stereo(PS) based surface normal refinement.
First, we use ICP to estimate the camera motions. It works properly because the reconstructed 3D is quite dense and accurate. Second, we refine the 3D structure by utilizing the pattern images from the other views like the multiple-view stereo algorithm. Finally, we improve the 3D normals by solving a photometric stereo linear equation, I=NL. For each 3D point, we can calculate the intensity I by finding its projected coordinates on the images where it is observed. And if we assume that the stereo camera system and the light-pattern projector have been pre-calibrated, the lighting direction L can also be obtained by simple multiplications of camera matrices and the transform between camera-projector. This kind of fusion now achieves both the high accuracy of structure and the fine details of normals. Also, we implement a structured light-based stereo camera system to apply our algorithm.
In the experiment, we analyze the reconstruction accuracy and check the fine details of the microscopic structure of small objects.
우리 주변의 물리 공간은 3차원이지만, 전통적인 카메라와 이미징 센서들로는 깊이 정보가 결여된 2차원 영상 밖에 얻지 못한다. 이런 기초적인 한계는 물체의 복잡성을 이해하는 우리의 능력을 제한한다. 이러한 한계를 극복하기 위해 다양한 삼차원 복원 기술이 발달해왔다.
특히, 정적 물체의 복원은 연구, 개발 또는 상업적 적용과 같은 다양한 분야에 활용될 수 있다는 측면에서 가치가 높다. 그 중에서도 구조광을 사용한 복원 방식이 정밀도 측면에서 주로 사용되고 있다.
이 논문에서 우리는 정적 물체의 정밀한 삼차원 정보를 얻기 위한 새로운 구조광 기반의 다시점 스테레오 시스템을 제안한다. 우리 시스템은 세 가지 주요 요소로 구성되어 있다: (i) 반복적인 최근접점(ICP) 기반의 움직임 추정, (ii) 다시점 스테레오(MVS) 기반의 삼차원 개선, (iii) 광도 측정 스테레오(PS) 기반의 삼차원 노멀 개선이 그것이다.
첫째, 우리는 ICP를 사용하여 카메라의 움직임을 추정한다. 복원된 삼차원이 매우 조밀하고 정확하기 때문에 이 방법은 잘 적용된다. 둘째, 다시점 스테레오 알고리즘과 같이 다른 시점의 패턴 영상들을 이용하여 삼차원 구조를 개선한다. 마지막으로, 광도 측정 스테레오의 선형 방정식 I=NL 을 풀어서 삼차원 노멀을 개선한다. 이때 각각의 삼차원 점들이 각 시점의 영상에 투사된 좌표를 이용하여 I 를 구하고, L 은 미리 캘리브레이션(Calibration)된 카메라와 프로젝터의 관계로부터 쉽게 구할 수 있다. 이제 이러한 방식의 퓨전을 통해 구조의 고정밀도와 상세한 노멀을 동시에 성취할 수 있다. 그리고 우리는 이 알고리즘을 적용하기 위하여 구조광 기반의 스테레오 카메라 시스템도 구현하였다.
실험에서는, 복원 결과의 정밀도를 분석하고 복원된 작은 물체의 미세한 구조의 세세함을 확인하였다.
