Photometric properties play an important role in characterizing the visual appearance of an image. Therefore, estimating the photometric properties such as scene illumination, surface reflectance, and camera response function is a fundamental problem in computer vision and graphics. It also has various applications for image enhancement and editing, such as high dynamic range imaging, photometric shape refinement, and image stylization. This dissertation tackles the two aspects of this problem: image enhancement by analyzing the photometric properties of a scene and image editing to change the visual appearance of an image. In particular, we present four different methods that handle the problems.
First, we present a radiometric calibration method by rank minimization. The radiometric calibration is to estimate a camera response function that relates sensor irradiance and recorded intensity value, and it is an important first step for many photometric methods that assume the linear relationship between the irradiance and observation. We capitalize on the low-rank structure in the various types of observations, such as sensor irradiances recorded from a static scene with different exposure times, or linear structure of irradiance color mixtures around edges, and show that various radiometric calibration problems can be treated in a unified framework that uses a rank minimization approach. Our method provides a principled way of solving radiometric calibration problems in various settings.
Second, we present a novel method to recover the detailed shape of a diffuse object with uniform albedo from a single RGB-D image. To estimate accurate lighting in natural illumination environment, we introduce a general lighting model consisting of two components: global and local models. The global model represents distant lightings and is estimated by using the low-dimensional characteristic of a diffuse reflectance model. The local model represents spatially varying illuminations that cannot be modeled in the global model. With our lighting model, we estimate complex lighting variations in uncontrolled natural illumination conditions accurately and recover high-quality shape details using a shape-from-shading approach.
Third, we propose a technique to automatically generate diverse, visually compelling stylizations for a photograph. We achieve this by learning style ranking for a given input using a large photo collection and selecting a diverse subset of matching styles for final style transfer.
We also propose a novel technique that transfers the global color and tone of the chosen exemplars to the input photograph while avoiding the common visual artifacts produced by the existing style transfer methods. Together, our style selection and transfer techniques produce compelling, artifact-free results on a wide range of input photographs, and a user study shows that our results are preferred over other techniques.
Finally, we introduce a color transfer framework based on a scattered point interpolation scheme. We solve for a full nonlinear color mapping in the 3D RGB color space by employing the moving least squares framework. We further strengthen the transfer with a probabilistic modeling of the color transfer in the 3D color space to deal with misalignments and noise. Experiments show the effectiveness of our method over previous color transfer methods both quantitatively and qualitatively. In addition, our framework can be applied in various instances of color transfer such as transferring color between different camera models, camera settings, and illumination conditions, as well as for video color transfers.
광도 특성은 영상의 시각적 모습을 특징짓는 중요한 역할을 한다. 따라서 장면의 조명, 표면의 반사도, 카메라 특성 함수와 같은 광도 특성을 추정하는 것은 컴퓨터 비전과 그래픽스 분야의 근본적인 문제이다. 이는 또한 고명암비 영상 취득, 광도 형태 개선, 영상 양식화와 같은 다양한 응용을 가진다. 본 학위 논문에서는 장면의 광도 특성을 분석하여 영상을 개선하는 것과 영상의 시각적 모습을 변화시켜서 영상을 편집하는 두 문제에 집중한다.
첫번째로, 랭크 최소화에 의한 방사 보정을 제시하였다. 방사 보정은 카메라 센서의 방사조도와 저장된 밝기값의 관계를 결정하는 카메라 반응 함수를 추정하는 문제이다. 이는 방사조도와 관측된 영상 밝기값 간의 선형 관계를 가정하는 많은 광도 기반 방법들을 위한 중요한 첫 단계다. 제안된 방법은 고정된 장면을 다양한 노출 시간으로 찍은 방사조도나 경계선 주변에서 보여지는 방사조도 혼합 색상의 선형 구조와 같은 다양한 형태의 관측 밝기값에서 나타나는 저랭크 구조를 활용하는 것으로, 다양한 방사 보정 문제들이 랭크 최적화에 기반한 하나의 통합된 프레임워크로 다뤄질 수 있다는 것을 보였다. 따라서 제안된 방법은 다양한 설정의 방사 보정 문제들을 푸는 원리적 방식을 제공한다.
두번째로, 단일 RGB-D 영상으로부터 균일 알베도를 가진 확산 표면 물체의 상세한 형태를 복원하는 새로운 방법을 제시하였다. 먼저 자연 조명 환경을 정확히 표현하기 위하여 전체 모델과 지역 모델로 이뤄진 일반 조명 모델을 도입하였다. 전체 모델은 멀리 떨어진 조명을 표현하고, 확산 표면이 갖는 저차원 특성을 이용하여 추정된다. 지역 모델은 전체 모델로 표현할 수 없는 지역적으로 변하는 조명을 표현한다. 제안된 방법은 새로운 일반 조명 모델을 이용해 자연 조명 환경의 복잡한 조명 변화를 정확히 추정하고, 명암 기반 형태 복원 방법을 이용해 고품질의 상세한 형태를 복원한다.
세번째로, 사진의 다양하고 시각적으로 흥미로운 양식화를 자동으로 생성하기 위한 기술을 제안하였다. 이는 대규모 사진 모음을 이용해 주어진 입력에 맞는 양식의 순위를 학습하고, 최종 양식화 변환을 위한 어울리는 양식들의 다양한 부분집합을 선택함으로 이뤄진다. 또한 기존 양식화 변환에서 나타나는 일반적인 시각적 결함을 방지하면서 선택된 모범 양식의 전체 색상과 색조를 입력 사진으로 옮기는 새로운 기술을 제안하였다. 제안된 양식화 선택 기술과 양식화 변환 기술을 통해 다양한 종류의 입력 사진에 대해 흥미롭고 결함으로부터 자유로운 결과를 얻을 수 있었고, 이용자 연구를 통해 제안된 방법에 다른 방법들에 비해 선호된다는 것을 보였다.
마지막으로, 확산절점보간 방법에 기반한 색상 변환 방법을 제안하였다. 제안된 방법은 이동최소자승 방법을 도입함으로써 3차원 색공간에서의 완전한 비선형 색상 대응 문제를 해결하였다. 색공간에서의 색상 전달 확률 모델링을 통해 영상 간의 어긋남이나 영상 잡음으로 인한 문제에 강인한 색상 변환 결과를 얻었다. 제안된 방법은 서로 다른 카메라 모델, 카메라 설정, 조명 환경, 그리고 비디오의 색상 변환과 같은 다양한 종류의 색상 변환 문제에 적용될 수 있다.
