For structured environments, recent studies have represented scenes with the high-level geometric primitives, such as line and plane, rather than sparse point-based representation such as Structure-from-Motion. Most of planar reconstruction approaches extract 2D line segments and match them, then reconstruct 3D structure using a triangulation method. However, these line-based approaches are not robust against a small matching error due to the complex line extraction and matching steps. In this thesis, we propose a robust line-based 3D planar reconstruction method which does not require any line matching or triangulation steps.
We first present a 3D line hypothesis generation approach using point cloud and 2D line segments. We exploit a PCA-based line hypothesis generation method to enhance the robustness against the noise of 2D line. Through systematic validations on synthetic data, we demonstrate that our generation method outperforms a conventional triangulation method at least 4 times in terms of angular accuracy.
A 3D reconstruction method based on a hierarchical framework subsequently restores the 3D lines of structured environments. The restoration of noisy 3D lines still remains as a challenging problem because it is difficult to define a suitable similarity measure discriminative to other lines. The robustness of our proposed approach is due to the fact that most structured scenes consist of sets of parallel 3D lines with the same angular proximity, which provides a hierarchical similarity measure for structured 3D lines. We hierarchically cluster 3D lines based on angular and distance similarities, then the center of each cluster becomes the final 3D line restoration. The framework also makes the clustered 3D lines align along the associated angular directions. In the quantitative experiment, the hierarchical method shows 10 times better performance than the conventional cylinder model.
We then present a general 3D planar reconstruction framework based on the hierarchically restored 3D lines. The restored 3D lines are used to make the multiple hypothesis of planar patches, and 3D planar reconstruction is done by a MRF-based optimization method. To demonstrate effectiveness of our method, we perform a variety of synthetic and real-data experiments including both indoor and outdoor scenes. The overall proposed framework has successfully reconstruct a variety of structured environments such as building and indoors, and outperforms conventional methods quantitatively and qualitatively.
본 학위 논문에서는 구조적인 환경에서 3차원 직선과 평면 복원에 관한 새로운 방법론을 제안한다. 특히, 구조적인 환경에서 각도의 유사성과 거리 유사도 측정을 기반으로 한 계층적인 3차원 직선 복원 방법론에 대한 연구를 수행한다. 보편적인 직선 복원 방법론의 경우, 직선 추출, 매칭, 그리고 매칭된 직선에 대한 복원과 같은 복잡한 과정을 필요로 하다. 그러나, 복잡한 과정 후에도 직선의 끝점에 대한 불확실성 때문에 복원된 직선의 정확도가 보장되지 않는다. 또한, 직선의 유사도 측정의 기준을 정의하는 것이 애매하며 데이터에 따라 그 기준이 다르다.
앞에서 언급한 기존의 직선 복원 방법의 여러 문제점을 개선하기 위해, 본 논문에서는 직선 후보군을 생성하고, 제안한 유사도 기준 하에 계층적으로 직선 후보군을 클러스터링한다. 직선 후보군은 포인트 클라우드와 2차원 직선을 기반으로 얻어지며, 우리는 이를 기존의 복원 방법과 정량적 비교 실험을 통해 성능을 입증하였다.
생성된 후보군을 기반으로 직선 매칭이나 기존의 복원 방법 없이 새로운 유사도 기준을 제안하고, 계층적으로 직선을 복원한다. 첫번째 계층에서는 3차원 직선들을 각도의 유사성에 대해 클러스터링하고, 이를 두번째 계층에서 제안한 유사도 측정 기준으로 다시 한번 클러스터링한다. 마지막으로 클러스터링 된 직선들을 각도에 대한 사전 정보를 기준으로 합침으로써 직선을 복원한다. 이를 기반으로 한 평면 복원에서는 복원한 3차원 직선을 기반의 영상을 평면 패치로 구분하여 기존의 슈퍼픽셀을 대신하여 계산 복잡도를 줄이고, 우리 방법론에 타당한 새로운 에너지를 정의하고 이를 최적화한다.
제안한 방법론의 성능을 입증하고 타당성을 보이기 위해 가상 환경과 실제 환경에서 취득한 여러 영상에 대해 실험하였다. 제안한 3차원 직선과 평면에 대한 방법론은 구조적인 환경에서의 건물이나 실내 환경을 성공적으로 복원하였으며, 정량적 그리고 정성적으로 더 나은 결과를 도출하였다.
