In this thesis, we present a framework to upsample the low-resolution image from the 3D-TOF camera or IR camera by using the auxiliary high-resolution RGB image from normal RGB camera. We utilize a different registering scheme for the 2D-2D or 2D-3D camera rigs. For the ToF-RGB rig, we use an alternative calibration method with outlier rejection. Our framework is based on least square optimization with novel confidence weighting scheme to maintain sharp boundaries and to prevent bleeding artifact during propagation. We compare the performance of our approach with the previous approaches targeting for ToF depth map upsampling and IR image upsampling. Experiments on synthetic disparity map upsampling show that our results outperform the previous works in terms of both PSNR and visual quality. While error measurements on IR image upsampling is not obvious compared to other methods, the result shows clear edge boundary. In addition to the automatic method, we extend our approach to incorporate user corrections. Our user correction methods are simple and intuitive, and it does not require any additional modifications (except for the weighting term) for solving the objective function defined in Section 4.1. In the future, we shall study how to extend this work for video frames upsampling.
본 논문에서는 저 해상도의 IR 영상 혹은 ToF 이미지를 일반적으로 많이 사용되는 고 해상도의 RGB 카메라와 결합하여 해상도를 복원하는 방법을 소개한다. 논문에서는 결합된 카메라의 종류에 알맞은 정합 방법을 제시하였다. 그 중에서 3D-ToF 카메라와 2D RGB 이미지를 정합하기 위해 변형된 원형 패턴을 이용하여 두 카메라를 정합하고, ToF 영상의 불연속 지점을 제외하도록 하여 이종 센서의 정합과 더불어 불확실요소를 제거하였다. 카메라의 정합 이후에는 최소 자승법의 최적화 방법과 새로운 접근법의 신뢰도 누적 방법을 통해 세밀한 경계영역을 확보하고 필터 기반의 방법에서 흔히 발생하던 문제점들을 극복하였다. 우리는 다른 방법들과 성능 비교를 하기 위해 ToF 영상과 IR 영상의 초 해상도 복원을 예로 보였다. 정량적인 측정을 위해 차이 영상 (disparity map)을 임의의 크기로 줄인 다음 초 해상도 복원을 하였고, 우리의 방법이 지금까지 널리 이용되어온 기존 방법과 비교하여 PSNR 및 가시성에서 더욱 우수한 것을 확인하였다. 비록 2 차원 IR 영상의 초 해상도 복원결과가 다른 방법들에 비해 명확히 우수하지는 않지만, 우리 방법이 경계선 보존측면의 초 해상도 복원이라는 소기 목적을 달성하고 있음을 보였다. 또한 이 논문은 자동적으로 초 해상도 복원을 하는 방법에서 나아가 사용자가 간단하고 직관적인 방법으로 결과를 보정 할 수 있는 방법을 언급하였다. 제시된 사용자 보정 방법은 최적화 함수에 최소한의 수정만 가하도록 함으로서 직관적이고 빠른 결과를 얻게 한다. 이후 이 연구를 확장하여 우리는 비디오 영상에 대해 초 해상도 복원에 대한 연구를 지속할 계획이다.
