Recently, a large number of 3D content has been introduced and a variety of 3D products have been commercialized to the market. However, the number of valuable 3D content is still insufficient to attract public attention. In order to solve the limited supply of 3D content, various 2D to 3D conversion techniques have been studied by many research groups and corporations. Because most of the commercialized 3D display systems represent 3D images by simultaneously showing multi-view images, it is an important process to generate multi-view images from a single-view sequence with high-quality depth information in the 2D to 3D conversion. In this thesis, a novel method for 2D to 3D conversion is proposed, which largely consists of two parts: 3D-affine-geometry-based sparse depth computation and sparse to dense depth map generation using triangulation and color consistency. The proposed 2D to 3D conversion method can be applied to the sequences having static scenes with moving cameras since correspondences among several frames are required to obtain 3D affine geometry information.
Basic concept of the proposed sparse depth computation step is that if the required virtual images could be limited to horizontal parallax images for the original images, it is possible to compute theoretically true disparity values by using only 3D affine geometry information, which has the same meaning as infinite homography or plane at infinity. In the 3D-affine-geometry-based sparse depth computation step, first, positions of the corresponding feature points in each horizontal parallax image plane are estimated using computed infinite homography. After that, infinite homography is updated to be applied to the subsequent frames and to maintain consistent baseline distances between the original and the generated horizontal parallax images through the sequence. The main advantage of the proposed 3D-affine-geometry-based sparse depth computation over previous 3D metric-structure-from-motion-based approaches is that it requires only 3D affine geometry information and is less affected by additional internal camera parameters.
In the sparse to dense depth map generation step, a dense depth map is reconstructed from the sparsely sampled depth information obtained in the first step and the corresponding original color image using triangulation and color consistency. Although triangular-patch-based approaches have been widely used, most of the previous approaches suffer a limitation in preserving depth discontinuities because they assume that each triangular patch has a planar depth map. To overcome the problem, the proposed depth map rasterization method considers the depth discontinuities and color consistencies in each triangular patch, thereby improving representation of depth discontinuities and fitting of planar depth region. In order to improve reliability of color consistency checking and to reduce color and depth ambiguities around depth discontinuous region, the proposed method introduces Color Representative Blocks (CRBs) and planar Depth Function (DF). After the initial depth assignment, the proposed method performs reassignment of depth values in some particular triangular patches having incorrectly assigned depth values.
Experiment results show that the proposed 2D to 3D conversion method reconstructed dense depth maps with higher accuracy and generated horizontal parallax images efficiently. In the performance evaluation of the sparse depth information obtaining step, the proposed 3D-affine-geometry-based method is compared with the stratified-metric-structure-from-motion-based approach and shows promising results. In the performance evaluation of the dense depth map generation step, the proposed depth map rasterization method is compared with previous depth map upsampling methods for various sampling structures and shows superior results.
최근 많은 수의 3D 컨텐츠가 소개되고 있고 다양한 3D 제품들이 시장에 나오고 있다. 하지만, 볼만한 가치가 있는 3D 컨텐츠의 수는 대중의 관심을 끌기에는 여전히 부족하다. 이러한 3D 컨텐츠의 부족 문제를 해결하기 위해 많은 연구 그룹과 회사에서 다양한 2D 영상의 3D 변환 방법들이 연구되어 왔다. 대부분의 상용화된 3D 디스플레이는 여러 시점의 영상들을 한 화면에 동시적으로 보임으로써 3D 영상을 나타내기 때문에 정확한 깊이정보로 여러 시점의 영상들을 만들어 내는 과정이 2D 영상의 3D 변환에서 매우 중요하다. 본 논문에서는 크게 3D 유사 기하 정보 기반의 성긴 깊이 정보 계산과 삼각화와 색상의 일관성을 이용한 깊이 지도 래스터화(Rasterization)의 두 부분으로 이루어진 새로운 2D 영상의 3D 변환 방법을 제안한다. 3D 유사 기하 정보를 얻기 위해서는 몇 장의 영상 사이의 일치점이 필요하기 때문에 제안하는 2D 영상의 3D 변환 방법은 카메라가 움직이는 정지된 장면의 영상에 적용 가능하다.
제안하는 성긴 깊이 정보 계산 단계의 기본 개념은 만약 요구되는 가상 영상이 원래 영상과 수평으로 평행한 위치에만 있다고 제한한다면 3D 유사 기하 정보만을 이용해서 이론적으로 실제의 양안시차(Disparity)를 구할 수 있다는 것이다. 여기서 3D 유사 기하 정보란 무한원평면(Plane at infinity) 또는 인피니트 호모그래피(Infinite homography)를 말한다. 3D 유사 기하 정보 기반의 성긴 깊이 정보 계산 단계에서는 먼저, 계산된 인피니트 호모그래피를 이용하여 수평으로 평행한 영상평면 각각에서 대응하는 특징점들의 위치를 계산한다. 그 후, 다음 영상에서도 사용될 수 있도록 인피니트 호모그래피가 갱신되고 원래 영상과 생성된 수평으로 평행한 영상의 초점들 사이의 거리(Baseline distance)도 전 영상을 통해서 일정하게 유지된다. 제안하는 3D 유사 기하 정보 기반의 성긴 깊이 정보 계산 방법이 기존의 움직임으로부터 3D 거리구조 추정(3D metric-structure-from-motion) 기반의 방법보다 나은 장점은 제안하는 방법은 오직 3D 유사 기하 정보만 필요하고 추가적인 카메라 내부 변수의 영향을 더 적게 받는다는 점이다.
삼각화와 색상의 일관성을 이용한 깊이 지도 래스터화 단계에서는 먼저 단계에서 얻은 성긴 깊이 정보와 대응하는 컬러 영상으로부터 조밀한 깊이 지도를 생성한다. 삼각화 기반의 깊이 지도 표현 방법은 폭넓게 쓰이는 방법이지만 각각의 삼각형 조각은 평평한 깊이 지도를 가진다는 가정을 갖고 있기 때문에 불연속적인 깊이를 가진 영역의 표현에 한계가 있다는 단점이 있다. 이러한 문제를 극복하기 위해 제안하는 깊이 지도 레스터화 방법에서는 각각의 삼각형 조각 안에서 깊이 불일치와 색상 일관성을 고려하여 깊이값을 할당한다. 그리하여 깊이 불일치 영역의 표현과 깊이값의 할당에서 정확도를 향상시킨다. 깊이 불일치 영역에서의 색상의 일관성 검사의 신뢰도를 향상시키고 색상과 깊이의 모호성을 감소시키기 위해서 제안하는 방법은 대표 칼라 블록(Color Representative Block)과 평면 깊이 함수(planar Depth Function)를 도입한다. 첫 깊이 할당 이후에 제안하는 방법은 잘못 할당된 깊이값을 가지고 있는 몇몇 특정한 삼각형 조각 안에서 깊이값을 다시 수정하는 과정을 수행한다.
실험 결과는 제안한 2D 영상의 3D 변환 방법이 깊이 지도를 보다 정확히 생성하고 수평으로 평행한 시점의 영상을 효율적으로 제작함을 보여준다. 성긴 깊이 정보를 얻는 과정의 성능 평가에서 제안하는 방법을 층별방식의 움직임으로부터 거리구조 추정(stratified-metric-structure-from-motion) 방식의 접근방법과 비교하였고 주목할만한 결과를 보여줌을 확인하였다. 고해상도 깊이 지도를 생성하는 과정의 성능 평가에서는 제안하는 방법을 다양한 샘플링 구조들 속에서 기존의 깊이맵 업샘플링 방법과 비교하였고 더 나은 성능을 보임을 확인하였다.
