Estimating depth information from a single image has recently attracted great attention in 3D-TV applications such as 2D-to-3D conversion owing to an insufficient supply of 3D contents. In this paper, we present a new framework for estimating depth from a single
image via scene classification techniques. Our goal is to produce "perceptually reasonable" depth for human viewers; we refer to this as "pesudo depth estimation". Since human visual system (HVS) highly relies on structural information and salient objects in
understanding scenes, we propose a framework that combines two depth maps; initial pseudo depth map (PDM) and focus depth map (FDM). We use machine learning based scene classification to classify the image into one of two classes, namely object-view and non-object-view. The initial PDM is estimated by segmenting salient objects (in case of object-view) and analyzing scene structure (in case of non-object-view). The focus blur is locally measured to improve the initial PDM. Two depth maps are combined and
a simple filtering method is employed to generate the final PDM. Simulation results show that the proposed method outperforms other state-of-the-art approaches for depth estimation in 2D-to-3D conversion both quantitatively and qualitatively. Furthermore, we
discuss how the proposed method can be effectively extended to image sequences.
3차원 디스플레이 시장의 급속한 성장에 따라 3차원 콘텐츠의 필요성이 대두되고 있다. 그러나 하드웨어의 제약 등으로 인한 3차원 콘텐츠 촬영의 어려움으로 인해 콘텐츠의 공급이 원활하지 못한 실정이다. 이러한 문제를 해결하기 위해 2차원 콘텐츠를 3차원으로 변환하기 위한 연구가 활발하게 이루어지고 있으며, 이를 위해서는 단일 영상으로부터 깊이 정보를 추출하는 과정이 반드시 선행되어야 한다. 본 논문에서는 영상 분류 기법에 기반하여 자동적으로 단일 영상으로부터 깊이 정보를 추출하는 방법을 제안한다. 본 논문의 목적은 실제 정확한 깊이 정보가 아닌 지각적으로 의미있는 깊이 정보를 추출하는 것에 있다. 이를 본 논문에서는 "모조 깊이 추정(pseudo depth estimation)"이라 정의한다. 인간 시각 시스템은 장면을 인식할 때 장면의 전체적인 구조 성분과 관심 객체 추출에 크게 의존하기 때문에, 초기 모조 깊이 지도(initial pseudo depth map)과 초점 깊이 지도(focus depth map)을 구성하여 이를 혼합하는 기법을 제안한다. 먼저, 기계 학습 알고리즘에 기반하여 주어진 입력 영상을 객체 영상(object view)과 객체가 아닌 영상(non object view)로 분류한다. 객체 영상의 경우에는 관심 객체 분할 기법을 이용하여 초기 모조 깊이 지도를 구성하고, 객체가 아닌 영상의 경우에는 장면 구조 분석 기법을 적용하여 초기 모조 깊이 지도를 추정한다. 또한 입력 영상에 대해 초점 흐림 정도를 지역적으로 계산하여 초점 깊이 지도를 구성한다. 구해진 초기 모조 깊이 지도와 초점 깊이 지도를 적응적으로 조합하여 최종 모조 깊이 지도를 구한 후, 간단한 필터링 과정을 통해 최종 깊이 지도를 추정한다. 다양한 3차원 변환 알고리즘들과의 비교를 통해 제안하는 방법의 우수성을 증명하고, 3차원 비디오 콘텐츠로의 확장 가능성에 대해서 검증한다.
