Nowadays, there are many 3D applications which demand good 3D data including 2D high resolution (HR) image along with high accurate depth map at the same size. It is efficient to capture images and depth maps at low resolution (LR) then upscaling them to high resolution. However, when upsampling the LR images and depth maps especially with large scaling factors, the boundaries of them usually lose sharpness. A new method is designed to address the problem of single image and depth map super-resolution in which HR images and depth maps can infer deep features from LR version of each other. We propose a densely connected residual inception network (DRInet) for this joint problem. The DRInet aggregates an LR input image and its corresponding depth features together to guide each task allowing the network to do better for upsampling of both faraway and closer objects. In addition, when zooming in an image, there is huge difference in quality of further and closer structures. We present a depth-aware bicubic degradation model to formulate the effect of scene depth when downsampling an image and train our network on this degradation model. Our DRInet achieves the best performance comparing the more complex network in both tasks. Furthermore, the depth-aware degradation model improves the robustness of the network.
최근 2차원의 고해상도 이미지와 동일 크기의 고정밀 깊이 맵을 포함하는 양질의 3차원 데이터를 요구하는 3차원 애플리케이션들이 많이 있다. 이를 위해서는 이미지와 깊이 맵을 저해상도로 획득한 후 고해상도로 업 스케일링하는 것이 효율적이다. 그러나, 큰 스케일링 계수로 저해상도의 이미지와 깊이 맵을 업 샘플링 할 경우, 일반적으로 그 경계의 선명도는 손실된다. 본 학위논문에서는 고밀도로 연결된 잔차 인셉션 네트워크로 저해상도의 이미지와 깊이 맵으로부터 깊이에 대한 특징을 추출하여 각각의 초해상화를 수행하는 네트워크를 제안한다. 제안하는 방법은 네트워크가 근거리 및 원거리 물체 각각에 대하여 업 샘플링을 더 잘 수행할 수 있도록 저해상도 이미지와 그에 대응되는 깊이 맵을 합치며, 또한 이미지를 확대할 경우, 근거리 물체와 원거리 물체의 품질의 차이가 크기 때문에, 깊이를 인식하는 이중 입방체 열화 모델을 제안한다. 또한, 이미지를 다운 샘플링 할 경우 장면의 깊이에 대한 영향도를 위하여 네트워크를 이 열화 모델로 훈련시킨다. 그 결과, 제안하는 방법은 이미지와 깊이 맵 각각의 초해상화 영역에서 더 복잡한 네트워크와 비교하여 더 높은 성능을 보인다. 또한 깊이를 인식하는 열화 모델은 네트워크의 견고성을 더욱 향상시킨다.
