In recent years, fusion camera systems that consist of color cameras and Time-of-Flight (TOF) depth sensors have been popularly used due to its depth sensing capability at real-time frame rates. However, captured depth maps are limited in low resolution compared to the corresponding color images due to physical limitation of the TOF depth sensor. Most approaches to enhancing the resolution of captured depth maps depend on the implicit as-sumption that when neighboring pixels in the color image have similar values, they are also similar in depth. Unfortunately, in practice, their assumption may not hold where boundaries of the depth map and the color image are not aligned. We therefore propose a novel kernel regression framework to generate the high quality depth map by handling misaligned regions between the depth map and the color image. Our proposed filter is based on the vec-tor facing similar pixels that represents the unit vector toward similar neighbors in the local region. The vectors are used to detect misaligned regions between color edges and depth edges. Unlike conventional kernel regression methods, our method properly handles misa-ligned regions by introducing the numerical analysis of the local structure into the kernel regression framework. Therefore, the high quality result is obtained even in the situation where the boundaries of the color image and depth map are not exactly matched. In addi-tion, we present an acceleration scheme to operate our proposed filter invariant to the kernel block size. Experimental comparisons with other data fusion techniques prove the superiori-ty of the proposed algorithm.
최근 비행시간 (Time-of-Flight, TOF) 원리에 기반한 깊이 카메라의 등장과 함께 깊이 카메라와 컬러 카메라로 이루어진 복합형 카메라 시스템 (Fusion Camera System) 이 각광을 받고 있다. 그러나 깊이 카메라의 물리적인 한계로 인해 취득된 깊이맵은 상응하는 컬러 영상에 비해 화질 열화를 보인다. 이를 해결하기 위해 그간 깊이맵을 컬러 영상과 같은 해상도를 가지도록 업샘플링하는 많은 방법들이 제안되어 왔다. 제안된 대부분의 방법들은 유사한 컬러를 가지는 인접 픽셀들이 유사한 깊이 값을 가질 것이라는 가정을 내제한다. 그러나 실제 상황에서 깊이맵과 컬러 영상간의 경계 정합이 제대로 이루어지지 않은 경우 이 같은 가정들은 너무 쉽게 위반된다. 그러므로 본 논문에서는 경계 정합이 제대로 이루어지지 않은 영역을 처리하고 고품질의 깊이맵을 생성할 수 있는 새로운 커널 회기법을 제안한다. 먼저, 경계 정합이 제대로 이루어지지 않은 영역을 찾기 위해 우리는 영상내의 유사한 인접값들을 향하는 벡터를 정의한다. 깊이맵과 컬러 영상에서 정의된 벡터들의 상관관계를 이용하면 경계 정합이 제대로 이루어지지 않은 영역을 효율적으로 검출할 수 있다. 이 같은 상관관계에 기반하여 검출된 영역에 낮은 신뢰도를 부여하는 필터를 설계한다. 기존의 방법과 달리 제안하는 방법의 커널 회기법은 낮은 신뢰도의 깊이 정보를 참조하지 않기 때문에 카메라 보정 결과가 부정확하더라도 높은 성능의 깊이맵 생성을 보장한다. 또한, 우리는 커널 크기에 관계없이 동작하는 방법을 제시하여 제안하는 방법의 효율성을 높인다. 실험결과를 통해 기존의 깊이맵 업샘플링 기술보다 제안하는 방법이 더 정확한 깊이 정보를 제공하는 것을 확인할 수 있다.
