Omnidirectional cameras are commonly equipped with fisheye-lenses to capture 360-degree visual information, and severe spherical projective distortion occurs when a 360-degree image is stored as a two-dimensional image array. As a consequence, traditional depth estimation methods are not directly applicable to omnidirectional cameras. Dense depth estimation for omnidirectional imaging has been achieved by applying several offline processes, such as patch-matching, optical flow, and convolutional propagation filtering, resulting in additional heavy computation. No dense depth estimation for real-time applications is available yet. In response, we propose an efficient depth densification method designed for omnidirectional imaging to achieve 360-degree dense depth video with an omnidirectional camera. First, our method takes sparse depth estimates as input with a conventional simultaneous localization and mapping (SLAM) method. We then introduce a novel spherical pull-push method by devising a joint spherical pyramid for color and depth, based on multi-level icosahedron subdivision surfaces. This allows us to propagate the sparse depth continuously over 360-degree angles efficiently in an edge-aware manner. The results demonstrate that our real-time densification method is comparable to state-of-the-art offline methods in terms of per-pixel depth accuracy. Combining our depth densification with a conventional SLAM allows us to capture real-time 360-degree RGB-D video with a single omnidirectional camera.
전방향 카메라는 일반적으로 어안렌즈를 사용하여 360도 이미지를 얻는다. 하지만 360도 이미지가 이차원 이미지 배열에 저장될 때 생기는 왜곡으로 인해, 핀홀 카메라 모델을 기반으로 하는 깊이 정보 획득 알고리즘을 전방향 카메라에 그대로 적용할 수는 없다. 패치 매칭, 광학 흐름, 전파(傳播) 필터링 등의 전방향 깊이 정보 획득 연구가 이루어져 왔으나, 많은 연산량으로 인해 실시간 깊이 정보 획득은 이루어지지 못하였다. 그에 따라 본 학위논문에서는 실시간 360도 깊이 영상 비디오 획득을 가능케 할 효율적인 고해상도 깊이 정보 획득 알고리즘을 제안한다. 먼저 본 시스템은 SLAM 알고리즘을 이용하여 저해상도 깊이 정보를 획득한다. 그 후, 정이십면체 분할로 만든 다단계 구면 구조체를 이용하여 pull-push 방법으로 깊이 정보를 주변으로 전파한다. 각 단계에서는 구면의 고유한 성질을 잘 만족하며 물체의 윤곽선을 잘 보존하는 필터링을 통해 깊이 정보를 정제한다. 이를 통해 픽셀 단위의 전방향 고해상도 깊이 정보를 굉장히 효율적으로 획득할 수 있으며, 다른 전방향 깊이 정보 알고리즘의 성능에 필적하는 정확도를 얻을 수 있다.
