Noise impacts practically all aspects of computer vision, especially for computing image derivative and removing noise. Unreliable estimation of image derivative and noise removal caused by inherent noise characteristics makes subsequent applications, such as feature detection and photometric approaches, produce inconsistent outputs. In this thesis, we develop a novel noise model for computer vision applications related with image derivatives and noise removal.
In the first part of the thesis, we present a sensor noise model, which is based on physical models of image noise in the image formation process. We show that the widely used additive Gaussian noise model is inadequate under general illumination conditions. We present an intensity difference based model to overcome the limitation of the previous model. Using the dominant photon noise assumption, image noise for intensity difference can be a distribution model represented by the Skellam distribution, derived from the Poisson distribution of photons. We show that intensity differences caused by noise fits the Skellam distribution well in the spatial domain, as well as in the temporal domain. Our modeling shows the linear relationship between intensity and the corresponding noise parameters of the Skellam distribution even under natural illumination conditions, while conventional variance computation of the Gaussian distribution does not. Because the Skellam parameter obtained from the linearity determines the distribution of noise for each intensity, we can statistically measure intensity difference using the estimated distribution of noise.
In the second part of the thesis, based on our noise model, we reconsider fundamental applications related with image derivatives and noise removal. First, given a confidence coefficient, we can determine an intensity range corresponding to variation caused by image noise for each pixel using the estimated noise distribution. We apply the intensity range to edge detection and background subtraction. Without conventional Gaussian smoothing, our edge detector not only extracts the fine details, but also suppresses the false edges, independently of camera settings. For background subtraction, because of accurate detection of changed pixels, we can update backgrounds more effectively than previous probabilistic frameworks, such as mixture of Gaussians and kernel density estimator. Second, we develop a noise removal method based on a Bayesian inference framework explicitly using the relationship between intensity and noise distribution. Experimental results show that the method is effective in restoring the image. Finally, we develop a novel image derivative measure using the probability of the intensity similarity between two adjacent pixels. We apply our measure to edge and corner detection. The experimental results of edge detection shows consistency for detecting fine image structure as well as suppressing false response, under illumination changes. The repeatability and stability of corner points and tracked points demonstrate the robustness of our method.
영상 잡음은 컴퓨터 비전의 모든 방법론에 영향을 주며 특히 영상 도함수(image derivative)의 계산과 잡음 제거에 큰 영향을 준다. 영상 잡음에 의한 영상 도함수와 잡음 제거의 부정확한 추정은 특징량 검출이나 측광학 관련 연구와 같은 어플리케이션에서 신뢰성이 떨어지는 결과를 얻게 된다. 본 논문에서는 영상 도함수와 잡음 제거에 관련된 컴퓨터 비전 어플리케이션을 위해서 새로운 잡음 모델을 전개하도록 하겠다.
첫번째 부분에서는 영상 형성 과정에서의 영상 잡음의 물리학적 모델에 기반한 센서 잡음 모델을 제시한다. 본 논문에서는 일반적인 조명 환경에서 널리 사용되는 더해진 가우시안(Gaussian) 잡음 모델이 적절치 않다는 것을 보였다. 기존의 모델의 한계를 해결하기 위해서 본 논문에서는 밝기 차이에 기반한 모델을 제안하였다. 광자에 의존하는 잡음이 지배적이라는 가정을 사용하여 밝기 차이에 대한 영상 잡음은 광자의 쁘아송(Poisson) 분포로부터 유도된 스켈람(Skellam) 분포에 의해 표현될 수 있다. 본 논문에서는 스켈람 분포가 시간 및 공간 영역에서의 잡음에 의해 발생된 밝기 차이에 잘 맞는다는 것을 보였다. 제안한 모델링은 자연 조명 환경에서도 밝기와 그에 대응하는 스켈람 분포의 파라미터의 선형적 관계가 잘 나타나지만, 기존의 가우시안 분포에서의 분산의 계산으로부터는 그 관계를 보일 수 없었다. 이러한 선형성으로부터 얻어진 스켈람 파라미터는 각각의 밝기에서의 잡음의 분포를 결정하기 때문에 추정된 잡음의 분포로부터 밝기 차이를 통계적으로 측정할 수 있다.
두번째 부분에서는 제안한 잡음 모델에 기반하여 영상 도함수와 잡음 제거에 관련된 근본적인 어플리케이션을 재접근한다. 먼저, 밝기에 따른 추정된 잡음 분포를 이용함으로써 각각의 픽셀에서의 영상 잡음에 의해서 생긴 밝기의 범위를 주어진 신뢰 계수로부터 결정할 수 있다. 이러한 밝기의 범위를 경계선 검출과 배경 차분에 적용하였다. 기존의 가우시안 평탄화(smoothing)를 사용하지 않기 때문에 제안한 경계선 검출기는 카메라의 셋팅에 관계없이 미세한 세부 부분을 잘 추출할 뿐만 아니라 틀린 경계선들을 잘 억제한다. 배경 차분에 대해서는 변화된 픽셀들의 정확한 검출이 가능하기 때문에 혼합 가우시안(mixture of Gaussian)이나 커널 밀도 추정기(kernel density estimator)와 같은 기존의 확률적 구조보다 더 효과적으로 배경을 업데이트할 수 있다. 두번째로는 밝기와 잡음 분포와의 관계를 이용한 베이시안(Bayesian) 추론 구조에 기반하여 잡음 제거 방법을 전개하였다. 실험 결과를 통해서 제안한 방법이 영상을 효과적으로 복원하는 것을 보였다. 마지막으로 두 이웃한 픽셀의 밝기 유사성의 확률을 이용한 새로운 영상 도함수를 제안하고 이를 경계선과 모서리 검출에 적용하였다. 경계선 검출의 결과로부터 조명변화에도 일관적인 정확한 영상 구조 검출과 틀린 응답을 억제하는 결과를 보였다. 모서리 점들과 이를 추적한 점들의 반복도와 안정도로부터 제안한 방법의 강인성을 증명하였다.