With the recent introduction of commercial light field cameras, depth estimation using a light field camera draw significant interest of researchers. However, since the baseline of a light field camera is restricted to the size of lens aperture and its sub-aperture images are quite noisy, depth map estimation of a light field camera is a challenging problem. In this thesis, a robust depth map estimation method using multi-cue integrated cost volume is suggested.
By using the cost volume concept, fast computation of depth map is achieved. To alleviate the ambiguity problem that comes from weakly textured region and narrow baseline of sub-aperture images, the pixels with reliable depth values are picked out and used to correct nearby unreliable depth values. A focus cue is exploited to filter out the pixels with unreliable depth values. A pixel with a depth value that falls within a confidence interval defined by the focus cue is classified as the anchor pixel having a reliable depth value. Using the estimated reliable depth values, unreliable depth values are corrected with an assumption that nearby pixels with similar color values may have similar depth values. Such an assumption significantly improves the performance of a non-convex optimization step. A discrete-continuous optimizer is adopted to obtain the final depth map by minimizing an objective function consisting of the color-gradient consistency and the depth difference between nearby pixels. The discrete-continuous optimization is suitable for efficiently combining the discrete cost volume structure and the continuous depth smoothness term at the same time.
The performance of the proposed method is systematically validated on both indoor and outdoor datasets. The experimental results show that the proposed method outperforms other existing methods.
상용 라이트 필드 카메라(Light Field Camera)가 등장함에 따라 라이트 필드 카메라로부터 깊이 정보를 추정하는 연구가 많은 사람의 주목을 받게 되었다. 하지만 라이트 필드 카메라의 최대 베이스라인(Baseline)이 렌즈의 구경(Aperture) 크기로 제한될 뿐 아니라 라이트 필드 카메라의 부분영역영상(Sub-aperture Image)이 영상 잡음을 포함하고 있기 때문에, 라이트 필드 카메라로부터 깊이 정보를 추정하는 것에는 상당한 어려움이 있다.
본 학위 논문에서는, 다중정보융합 비용체적(Multi-cue Integrated Cost Volume)을 이용하여 안정적인 깊이 지도를 추정하는 방법론을 제시하였다. 비용체적(Cost Volume) 개념은 빠른 깊이지도(Depth Map)의 계산을 가능하게 한다. 특징 정보가 거의 없는 영역과 부분영역영상들의 좁은 베이스라인(Baseline) 때문에 발생되는 깊이 정보 모호성 문제를 해결하기 위하여, 믿을 수 있는 깊이 정보를 선발한 후 주변의 믿을수 없는 깊이 정보를 추정하는 데 사용하였다. 믿을 수 없는 깊이 정보를 걸러내기 위한 방법으로 초점 정보가 활용되었다. 초점 정보에 의해 정의된 신뢰구간(Confidence Interval) 내에 깊이 정보가 포함되는 픽셀(Pixel)이 믿을만한 깊이 정보를 가진 기준 픽셀로 정의되었다. 믿을 수 있는 깊이 정보들로부터 신뢰도가 낮은 깊이 정보들을 계산하기 위해 유사한 색을 가진 인접한 픽셀들은 유사한 깊이 정보를 가질 것이라는 가정이 사용되었다. 이러한 가정은 비 컨벡스 최적화(Non-convex Optimization) 과정의 성능을 상당히 개선시켜주었다. 색상-색상변화량 일관성을 나타내는 항과 인접 깊이 정보의 변화량을 나타내는 항으로 구성된 목적 함수를 최소화함으로써 최종 깊이지도(Depth Map)을 얻기 위해 이산-연속 최적화(Discrete-Continuous Optimization) 기법이 채택되었다. 이산-연속 최적화 기법은 이산적인 비용체적 구조와 연속적인 인접 깊이 정보 유사성을 효율적으로 결합하는 데 매우 적합하다.
제안된 방법의 성능은 실내와 실외에서 촬영된 데이터 세트(Dateset)를 이용하여 체계적으로 검증되었다. 실험 결과는 제안된 방법론이 다른 방법론을 능가한다는 것을 보여주었다.
