Joint or interleaved optimizations of the camera parameters and 3D structure in structure-from-motion (SfM) systems are computationally expensive due to the nature of non-linear solvers, which limits their use in resource-constrained environments. To solve this problem, we propose to model the cost function and incrementally refine the 3D structure using a direct refinement method. The proposed incremental direct structure refinement (IDSR) is non-iterative and does not require re-triangulation and non-linear solver, which significantly reduces the computational cost of the system. We also implement a resection-intersection (RI) approach where the traditional non-linear solver of the intersection phase is replaced by the proposed IDSR. Experimental results on publicly available datasets show that, compared with conventional refinement methods, the proposed IDSR-based RI approach provides comparable reconstruction accuracy and is 3 to 20 times faster on single-core CPU environment depending on the IDSR configuration. In addition, we propose a depth refinement system for offset pixel aperture (OPA) camera which has narrow depth range due to a small baseline. Multi-view depth measurements of the OPA camera are fused using the proposed model.
3차원 재구성을 위한 structure-from-motion (SfM) 시스템에서 카메라 변수 및 3차원 구조의 최적화 (Bundle Adjustment)는 반복적으로 비선형 문제를 풀어야 하기 때문에 높은 계산 비용을 가지고 있고 연산능력이 떨어지는 하드웨어 환경에서 사용하는데 제약이 따른다. 이 문제를 해결하기 위해 비용 함수를 모델링하고 이를 이용해 직접 3D 구조를 직접적이고 점진적으로 개선하는 알고리즘을 제안한다. 제안 된 직접 구조 개선 (IDSR)은 반복적이지 않으며 재 삼각 측량 및 비선형 문제를 푸는 것이 필요하지 않기 때문에 시스템의 계산 비용이 크게 절감된다. 또한 교차 위상의 기존 비선형 솔버가 제안된 IDSR로 대체되는 resection-intersection (RI) 접근법을 구현한다. 공개적으로 사용 가능한 데이터 세트에 대한 실험 결과는 기존의 알고리즘에 비해 제안된 IDSR 기반 RI 접근 방식이 비슷한 3D 재구성 정확도를 제공하는 동시에 IDSR 구성에 따라서 단일 코어 CPU 환경에서 3$\sim$20배 더 빠르다는 것을 보여준다. 또한 베이스 라인이 작아서 깊이 범위가 작은 오프셋 픽셀 조리개 (OPA) 카메라를 위한 깊이 개선 시스템을 제안한다. OPA 카메라의 다중 뷰 깊이 측정들은 제안한 깊이 개선시스템에 의해 합쳐진다.
