This thesis explores color constancy for three-dimensional objects. Color constancy is a human visual characteristic that is able to perceive the intrinsic color of an object independent of illuminant color. In computer vision filed, it is formulated by recovering the constant color descriptor of an object in a scene. In order to recover the constant color descriptor, essential issues include the analysis of a scene, the estimate of illuminant information color and direction, the development of model for recognizing object color through analyzing physical phenomena such as specular reflection, interreflection, shadow, and shading.
The constant descriptor has not been successfully described yet in computer vision group. One of main reasons is a lack of model enough to relate the physical phenomena to scene characteristics. Moreover, algorithm for estimating of illuminant color in a real scene has not been developed until now.
To solve the first problem, this thesis proposes the chromatic model named by the "tetra-chromatic model". Since the tetra-chromatic model enables to analyze highlight as well as interreflection, it has more generalized concept than previous approaches. To constructing the tetragonal model, this thesis derives a reflection model for multi-illuminants by considering the interreflection as secondary illuminant. Because the colors observed on an object with both the highlights and the interreflection have volumetric distribution on RGB color space, it is impossible to analyze it and to obtain a constant color for the object. To solve this problem, we adapt two dimensional color space chromaticity coordinates as the basic color space for color analysis. We found that the reflection model for a three dimensional object with the highlight and the interreflection formed a tetragon in the chromaticity space, which was referred to the "tetragonal model" in this thesis. The tetragonal-model enables to recognize both specular reflection and interreflection, and assign the body color of the object corresponding to the each reflection. Experiments for three-dimensional objects with various interreflections and specular reflection are carried out to demonstrate the feasibility of the tetragonal model for assigning the chromaticity values of the body colors of the objects. The chromaticity values are defined as the chromatic invariant in this thesis.
We have successfully analyzed the colors of both interreflection and highlight, and shown that the chromatic invariant can be recovered by applying the tetragonal model for three-dimensional object.
For estimating illuminant color, this thesis proposes three approaches based on the analysis of a physical phenomenon on highlight. An approach for estimating Illuminant color from multi-highlights uses the eigenvalues and the eigenvectors of the chromaticity clusters of them. We observed from the result of experiments that it gave us illuminant color in a real scene captured by CCD camera with reliable accuracy. However, it has limitation that the approach needs more than two highlights with different color each other in a scene. To remove this limitation and to provide a generalized approach, this thesis develops two approaches that can calculate illuminant color from a highlight. An approach uses the eigenvector of a highlight and the "pre-determined lights locus" instead of another eigenvector. Another approach estimates illuminant color from color difference in a highlight.
For illuminant direction, this thesis explores an approach for calculating illuminant direction from the estimate of bump parameters. To estimate the illuminant direction, the parameters of the bump are optimized. Experimental results for estimating illuminant direction from the image data show close agreement with real direction.
We have investigated measurement method of perceived illuminant by human being. The main content of the measurement method is to establish an experimental procedure for measurement of the perceived illuminant and to prove the linearity of perceived illumination. The perceived illumination has been observed and measured experimentally. We proved that the perceived illumination has a linear characteristic.
We also introduce a method for recovering surface reflectance from the chromatic invariant and the illuminant color. The method uses linear model that calculates both the spectral power distribution of an illuminant and the surface reflectance of an object from the illuminant color and the chromatic invariant. This approach discounts the influence of illuminant color in the chromatic invariant and relates the chromatic invariant to the reflectance for the three-dimensional object. From the approach, we conclude that recovering both the chromatic invatiant and the illuminant color is equal to obtain the constant color descriptor for three-dimensional object.
In addition, we have proposed some effective approaches that realize color constancy in some applications. We construct finite-dimensional linear models to represent the surface reflectanc that reflects the human visual sensitivities by the linear combinations of basis functions. For human visual sensitivities, two different weighting functions are introduced to describe the different visual sensitivities at different wavelengths. Basis functions in the linear model are selected by minimizing the least-squares error in approximating the spectral data weighted by a human visual weighting function. We have applied the proposed linear model that explicitly takes into account human visual sensitivities in representing surface reflectance. Our linear model has shown much better performance than principal components approximations (PCA) based approaches in reproducing accurate colors.
We examined color constancy in color printer. The color constancy in color printer is to match appearance color between image data and reproduced colors. To achieve appearance color matching, we have derived the color model based on additive mixture and the printer model considering dot overlapping. We have proved that color constancy in binary color printer (inkjet printer) could be maintained by appearance color matching in CIE LAB color space.
본 논문은 삼차원 물체의 색 항상성에 관해 고찰 한다. 색 항상성 이란, 인간의 시 지각 특성 중의 하나로 광원에 독립적인 물체의 고유의 색을 보려는 색 인지 능력이다. 컴퓨터 비전에서는 이와 같은 능력을 구현하기위해서 영상으로부터 색 불변량을 추출하는 것이다. 색 불변량을 실제 영상으로부터 성공적으로 추출하기위해서는 광원의 색과 방향등을 해석하는 광원 정보 해석 기술과 하이라이트, 상호반사등을 분석하고 인식하여 물체고유색을 추정할수 있도록 하는 칼라 해석 모델 개발이 필요하다. 물체 고유의 특성중의 하나인 물체의 표면 색은 물체의 인식, 영역구분, 색인과 같은 컴퓨터 비전의 다양한 분야에 이용될 수 있다. 물체 표면의 반사도 나 단지 광원 색을 추정하는 것을 색 항상성이라고 이야기 하기도 하지만 물체의 표면이나 광학적인 효과에 대한 가정 없이 색 항상성을 구현하는 것은 불가능 하다는 것이 현재 까지 의 연구 결과이다. 이와 같이 컴퓨터 비전 그룹에서 색 항상성에 대한 연구가 성공적이지 못한 큰 이유는 영상에서 물리적 현상을 영상의 특성과 연결시키는 좋은 모델을 개발하지 못했고 광원 정보를 해석하는 것은 수학적으로 해를 구하는 것 자체가 어려운 문제이기 때문이기도 하다. 특히, 상호반사가 있는 경우에는 그 색을 예측하기가 어려워 현재까지 풀기 어려운 문제로 남아 있다.
본 논문은 이러한 문제를 해결하기 위해 선형모델, 광원 색 추정, 그리고 4점 모델을 이용하여 하이라이트, 그림자, 상호반사등과 같은 칼라영상의 물리적 현상의 해석 방법을 결합하여 인간의 시각 특성과 유사한 색의 해석, 광원의 해석 및 인지 기술에 기반을 둔 보다 일반화된 개념의 색 항상성 모델을 제안 한다. 이 모델은 기존의 어느 모델 보다 확장된 개념이며, 본 논문에서는 이 모델을 이용하여 색도 항상성을 구현 하여 색 불변량을 추출 한다.
인간의 시각 특성을 이용한 표면 반사도 칼라 선형모델에 대해서는 표면 반사도를 효과적으로 나타내는 칼라 선형모델을 제안 한다. 이 모델은 인간의 시각특성과 분광 반사도를 동시에 고려 함으로서 해석적으로 유도 되고 실험적으로 검증 되었다. 광원 색 추정을 위해서 본 논문에서는 하이라이트의 물리적 현상의 해석에 기반을 둔 세 개의 알고리즘을 제안 한다. 다수의 하이라이트의 특성 벡터와 특성치로부터 광원 색을 추정하는 접근 방법은 서로 다른 표면 색을 갖는 하이라이트가 존재해야만 하는 단점이 있다. 이러한 문제를 해결하고, 디지털 카메라로 잡은 사람의 얼굴과 같은 하나의 물체로부터 광원 색을 추정하는 두 가지 접근 방법이 제안되었다. 광원들의 색도도 상에서의 궤적을 이용한 방법과 하나의 하이라이트에서 물체의 고유색이 등 색인 점을 두 점을 찾아 두 점의 색차로부터 광원 색을 추출 할 수 있음을 보였다. 광원 방향의 추정 방법에 대해서는 범프의 위치와 파라메타를 추정으로부터 광원 방향을 해석하는 방법을 제안하고 실험적으로 검증 했다.
본 논문은 상호반사를 2차 광원으로 고려하여 일반화된 반사모델을 유도하고, 그 반사모델을 이용하여 이방성 3차원 물체들에 의해 생성된 그림자, 하이라이트, 상호반사의 효과를 분석하는 모델을 제공한다. 하이라이트와 상호 반사를 갖는 물체가 존재하는 물체에서 색 분포는 RGB 칼라 스페이스에서 2차 광원의 영향으로 자유로운 3차원 형상을 갖기 때문에 해석이 복잡할 뿐만 아니라 거이 불가능 함이 알려져 있다. 본 논문에서는 칼라 해석을 위한 기본 색 좌표로 선정하여 이 문제를 해결 한다. 색도좌표에서는 쉐이딩, 하이라이트, 상호반사가 특별한 특징을 가지며, 그 특징으로부터 각각의 해석이 가능하다. 하이라이트와 쉐이딩에 대해서, 물체에서 관찰되는 색은 광원 색과 물체 색의 가법혼색 즉 두 색의 선형 조합 이다. 그러므로 색도도 상에서는 이색들은 두 물체색을 연결하는 직선상에 존재한다. 상호 반사가 있는 경우에 물체에서 관찰되는 색의 색도 분포는 물체 색, 상호반사를 일으키는 두 번째 물체 색, 광원 색, 두 물체 색 간의 상호반사에 의한 왜곡된 색등 네 가지 색을 꼭지점으로 사각형의 내부에 존재하고 이것을 사점 모델 이라 한다. 그 사각형 내부에서, 지배적인 상호 반사는 네가지 색의 가법혼색에 의해서 직선들을 형성한다. 그 사점 모델은 일반적인 반사모델에 대하여 색도도에서 칼라 분포를 해석하고 예측할 수 있게 한다. 사점 모델은 광원 색 반사 와 상호반사 성분에 대해 본래의 물체 색 성분을 추정할 수 있게 해준다. 그 물체 색 성분은 주어진 광원하에서 일정한 특성을 갖는다. 그 물체 색으로 부 터 선형모델을 이용하여 광원 색의 영향을 제거하고 선형모델을 다시 적용하면 물체의 반사도를 얻을 수 있다. 본 논문에서는 칼라프린터에서의 색 항상성 유지 문제도 살펴본다. 인간의 광원인지에 대한 연구는 인지광원의 측정 방법과 선형성을 증명하는데 초점을 맞추었다. 인지광원에 대한 연구는 인간의 광원에 대한 인지특성과 물리적인 광원에 대한 관계를 밝히는데 첫걸음 이다.
