The emergence of digital imaging made the photography available for everyone by lowering the cost of imaging devices and eliminating the costs of films and the development processes for them. Along with it, a novel imaging application field, so-called computational photography, was introduced by combining digital imaging and computing. Since it enables to enhance the quality of images and to fix flaws in photographs afterward shooting, computational photography has been playing an essential role in digital imaging.
At the core of computational photography, there is a technical challenge to solve a severely ill- posed optimization problem of inverse light transport. Computational photography algorithms need to overcome the mathematical challenge to achieve high-quality image output. With efforts of addressing the ill-posedness of the inverse optimization problem, many hand-crafted image priors have been commonly used to regulate the range of possible solutions, yielding plausible high-quality images. However, traditional approaches cannot handle the broad spectrum and diversity of real-world images.
In this thesis, I demonstrate three learning-based image reconstruction methods for computational photography, based on priors obtained by learning from image data: compressive hyperspectral imaging, high dynamic range (HDR) imaging, and novel view synthesis. First, for compressive hyperspectral imaging, I introduce a novel spectral prior, which is learned using a deep convolutional autoencoder. Second, for high dynamic range imaging, I adopt joint sparse coding to acquire a prior knowledge on HDR images. Finally, for the novel view synthesis method, I propose a new approach that combines a conventional view synthesis and a learning-based refinement using a convolutional neural network. Qualitative and quantitative comparisons demonstrate that the learned priors are highly effective in addressing each of the three problems, validating that the three proposed methods outperform state-of- the-art techniques with high image quality.
디지털 이미징의 등장은 이미징 장치의 가격을 낮추고 부담스러웠던 필름의 비용을 사라지게 만들며 사진의 대중화를 가져왔다. 그와 동시에 컴퓨터의 발전과 더불어 계산 사진학이 발달하였다. 계산 사진학은 영상의 촬영 시점 이후에 영상의 품질을 향상시킬 수 있으며, 영상의 오류들을 수정하고, 새로운 정보를 유추하는 것을 가능하게 하기 때문에, 최근 들어 연구자들, 산업가들, 그리고 일반 소비자들 사이에서 필수 요소로 자리 잡았다. 그러나 계산 사진학은 심각한 불량 조건 문제이므로, 고품질의 영상을 생성하는 고성능 계산 사진학은 매우 어려운 문제이다. 불량 조건 문제를 해소하기 위해서, 영상 사전 확률의 도입이 필요하다. 영상사전확률은 가능한 해의 범위를 제한하고 타당한 고품질 이미지를 찾는 것을 도와준다. 본 학위 논문에서는 학습을 통해 얻은 영상 사전 확률을 이용하여 계산 사진학의 복원 문제들을 다룬다. 첫 번째 문제로 초분광 압축 이미징에서 고품질의 초분광 영상을 복원하는 문제를 소개한다. 초분광 영상 복원을 위해 새로운 스펙트럴 사전 확률을 소개한다. 제안된 사전 확률은 깊은 컨볼루셔널 오토인코더를 통해서 학습된다. 두 번째로 조인트 스파스 코딩을 이용하여 고계도 이미지 복원 문제를 다룬다. 마지막으로 새로운 시점의 영상을 복원하는 기술을 소개한다. 제안된 영상 복원 기술은 종래의 전통적인 영상 구성 방법과 인공 신경망 기반의 학습을 통한 영상 개선 방법을 결합하여 고품질의 영상을 생성한다. 제안된 영상 복원 방법과 학습된 영상 사전 확률은 정량적이고 정성적인 비교를 통해 효과가 검증되며 생성한 결과들은 최고의 영상 품질을 보인다.
