In this thesis, we introduce data-driven approach with RGB guidance utilized for refinement of two types of image, which are depth and hyperspectral images. Depth maps captured by consumer-level depth cameras such as Kinect are usually degraded by noise, missing values, and quantizations. Hyperspectral images usually lack of spatial resolution due to limitations of hardware design of imaging sensors. On the contrary, latest imaging sensors can capture a RGB image with resolution of multiple times larger than a hyperspectral image.
For refining degraded RAW depth maps that are coupled with an RGB image, our approach takes advantage of a training set of high-quality depth data and transfer its information to the RAW depth map through multi-scale dictionary learning.
Utilizing a sparse representation, our method learns a dictionary of geometric primitives which captures the correlation between high-quality mesh data, RAW depth maps and RGB images.
The dictionary is learned and applied in a manner that accounts for various practical issues that arise in dictionary-based depth refinement. Compared to previous approaches that only utilize the correlation between RAW depth maps and RGB images, our method produces improved depth maps without over-smoothing. Since our approach is data driven, the refinement can be targeted to a specific class of objects by employing a corresponding training set. In our experiments, we show that this leads to additional improvements in recovering depth maps of human faces.
And, for hyperspectral image enhancement and super-resolution, we propose an algorithm utilizing two stages: spatial upsampling stage and spectrum substitution stage.
The spatial upsampling stage is guided by a high resolution RGB image of the same scene, and the spectrum substitution stage utilizes sparse coding to locally refine the upsampled hyperspectral image through dictionary substitution. Experiments show that our algorithm is highly effective and has outperformed state-of-the-art matrix factorization based approaches.
본 논문에서는 컬러 영상 유도 와 데이터 구동 방식을 통한 깊이 및 초다분광 영상의 개선 및 고해상화 기법을 소개한다.
키넥트 영상과 같은 소비자가격 수준의 깊이 영상 카메라로 획득한 깊이 영상은 노이즈, 미획득 픽셀 및 양자화 에러 등으로 인한 성능 저하가 존재한다.
또한 초다분광 영상의 경우, 해당 영상 센서의 하드웨어 디자인의 한계로 인해 공간 해상도가 매우 제한된다.
이에 반해, 최신의 RGB 컬러 영상 센서들은 매우 큰 해상도로 영상 획득을 가능하게 해준다.
미가공의 저품질 깊이 영상을 개선하기 위해, 본 논문에서는 동일 장면에 대한 RGB 영상과 고품질 깊이 영상의 훈련 집합을 이용한다. 그리고 그것들로부터 얻은 정보를 이용하여 저품질 깊이 영상을 다중 규모 사전 학습 기법을 통해 개선시킨다.
희소 표현을 응용한 본 방식은 고품질 그물망 정보, 저품질 깊이 영상, 그리고 RGB 영상의 연관 관계를 내포하는 기하적인 기초 요소 사전을 학습한다. 본 논문의 사전 정보는 기존의 사전 학습 기법 기반의 깊이 영상 개선 알고리즘들에게 내재하던 다양한 실제적 문제점들을 개선할 수 있도록 학습되고 적용된다.
단순히 저품질 깊이 영상과 RGB 영상간의 연관성만을 사용하던 기존의 방식들과 비교할 때, 본 방식은 과평활화가 없는 깊이 영상을 제공한다. 또한 데이터 구동 방식의 특성으로 인해, 특정 종류의 데이터 클래스의 영상 개선을 이를 위한 훈련집합을 통해 할 수 있다. 실험 과정에서, 본 기법은 인간 얼굴 깊이 영상의 추가적인 성능 개선을 확인할 수 있었다.
그리고 초다분광 영상 개선과 고해상화를 위해 본 논문은 공간 업샘플링 단계와 스팩트럼 교체 단계의 두 단계를 포함하는 기법을 제안한다. 공간 업샘플링 단계는 같은 장면의 고해상도 RGB 영상의 유도를 받고, 스팩트럼 교체 단계는 업샘플링된 초다분광 영상을 국소적으로 개선하기 위해 스팩트럼 사전 교체 방식을 위한 희소 코딩 기법을 사용한다. 관련된 실험에선 우리의 기법이 매우 효과적이며, 기존의 행렬 분해에 기반한 방식을 상회하는 성능을 확인 할 수 있었다.
