Moving object detection in consecutive image sequences is very important for the various computer vision applications such as video-based surveillance system and object-based image coding for image compression.
Most of previous works are based on the intensity constancy assumption or the assumption of very slowly varying illumination condition, However, this assumption can be easily violated when fast and significant illumination changes occur for the short time or when the image capturing rate is very slow compared to the speed of illumination variation, as in the teleconference system of very low-bit rate application.
In this thesis we address computer vision problems related to both moving object detection and motion estimation in the presence of temporally and spatially varying illumination.
First, we investigate the problem of effectively detecting moving objects in the image sequences, captured by a static camera under the slowly varying illumination condition. Based on the background difference method for the accurate extraction of moving objects, we develop a robust technique for effectively reconstruction or updating reliable background image from the input image sequence. To accomplish the statistical change detection as well as the robust background image reconstruction, we introduce a Gaussian background image model for each pixel of the background intensity image, and we continuously estimate the Gaussian model by using a recursive simple IIR filter or a standard Kalman filter along with the proposed adaptive gain function.
Second, we discuss the problem of detecting moving objects in a sequence of images captured by a static camera under complex illumination variations. For compensating the image variation due to the illumination changes, the ocal constancy of intensity ratio is employed, and then some detection measures, which are illumination invariant and statistically normalized, are proposed. In addition, a basic relationship for robustiy estimation the noise level is analyzed. in variant and statistically normalized, are proposed. In addition, a basic relationship for robustly estimating the noise level is analyzed.
Finally, we describe the problem of robustly estimating the dominant image motion in any two images, captured by a moving camera, containing significant illumination changes. This motion estimate is used to align the two images and then detect independently moving objects in the motion compensated images. We derive simple and defferential dynamic image models from the previous dynamic image model, and then provide the associated motion estimation algorithms. After the analysis of the characteristics of each model through a series of careful experiments, we present a new hybrid hierarchical motion estimation framework.
Experimental results of synthetic and real images along with the comparison with the other comparable algorithms demonstrate the effectiveness of the presented algorithms.
카메라 영상에서의 변화 검지 또는 운동체 검지는 영상을 이용하는 운동체 감시, 객체기반 영상압축?추출, 물체인식, 물체추적 등의 다양한 컴퓨터 비젼 응용분야에 있어 핵심 기반 기술중의 하나이다. 특히, 움직이는 카메라에 의해 획득된 영상의 경우에는 운동체 검지를 위해서는 반드시 카메라 운동에 의해 유발된 두 영상간의 주요 배경 영상운동 성분을 미리 보정해줘야 된다. 이를 위해 두 영상간에 존재하는 주요 배경 운동성분을 추정하고 추정된 영상운동 정보를 이용하여 두 영상을 정합하는 과정이 수행되게 된다.
기존에도 이 분야에 대한 연구가 많이 진행되어 왔는데, 대부분 두 영상간의 대응하는 밝기 값들이 변하지 않는다는 가정에 기반하고 있다. 즉, 영상간의 조명변화가 거의 없다고 가정하였다. 일반적으로 아주 짧은 시간의 두 연속 영상에서는 대부분 이와 같은 가정이 유효하지만 아주 느린 속도로 얻어진 영상이거나 혹은 어두운 환경에서(예를 들면 해저 영상탐사, 원자로 내부 원격 영상감시 등의 경우) 카메라와 같이 또는 별도로 장착된 조명과 함게 영상을 얻는 경우에는 영상간의 대응하는 밝기 값 간의 관계가 영상 위치에 따라 변화하는, 즉 복잡한 조명변화 상태를 보이므로, 밝기보전 가정에 근거한 기조 알고리즘들은 제 성능을 낼 수 없게 된다.
따라서, 본 논문에서는 두 연속영상 혹은 임의의 두 영상간에 영상위치에 따라 조명조건이 복잡하게 변화하는 경우에서의 운동체 검지 문제를 다루고자 한다. 본 논문에서는 이 문제를 세 단계 또는 세 개의 독립된 주제로 나누어 접근하고자 한다.
첫 단계에서는 비교적 느린 조명변화를 보이고 있는 상황에서 고정 카메라에 의해 획득된 연속영상을 대상으로 하여 운동체를 정확하고 효율적으로 검지하는 문제를 다루었다. 운동체의 검지 현상의 정확도를 높이기 위해서 두 연속장치의 차를 이용하는 방법보다는 기준 배경영상 (움직이는 물체가 전혀 개입되지 않는 정적 카메라 영상)과 현 입력영상의 차을 이용하는 배경영상 차분법을 이용하였다. 이 방법론에 있어서의 주요 관심 대상인 기준 배경영상의 효율적 복원 또는 갱신기법을 제시하기 위해 우선 배경영상에 대한 가우시안 확률 모델을 설정하였고 이를 보다 강건하고 효율적으로 추정하기 위해 기존의 간단한 반복 필터와 칼만 필터들을 본 논문에서 제시한 적응 이득함수와 연계하여 사용하였다. 이렇게 함으로써 운동체가 존재하고 있는 입력 영상으로부터 신뢰성있는 기준 배경영상의 확률모델을 복원?갱신할 수 있었으며 부가적으로 통계적 기법에 의한 운동체 검지도 자연스럽게 달성할 수 있었다.
두 번째 단계에서는 고정 카메라에 의해 획득된 임의의 두 영상에서 영상위치에 따라 복잡한 조명변화가 존재할 경우 운동체를 통계적 기법에 근거하여 강건하게 검지 하는 문제를 다루었다. 임의의 두 고정카메라 영상간의 조명변화에도 불변특성을 보이는 기존의 영상 밝기 비 개념을 도입한다. 먼저 밝기 비에 대한 통계적 모델을 밝히고 이를 바탕으로 근사적인 확률 모델을 제시하였다. 이 근사 통계모델에 근거하여 통계적으로 정형화된 밝기 비를 이용한 검지 특성치를 제안하였고 더불어 이를 이용하여 영상 잡음 수준을 강건하게 추정할 수 있게하는 기본 관계식을 유도하였다. 이들을 이용하여 최종적으로 조명변화가 존재하는 임의의 두 영상에서 움직이는 운동체의 윤곽을 검지할 수 있는 알고리즘을 구현하였으며 실험을 통해 이의 유효성을 보였다.
마지막으로는 카메라 움직임 존재 시 두 연속영상에서, 실제 정적 배경 구조물에 대해 발생한 주요 배경 영상운동 성분을 보상하기 위해 반드시 필요한, 주요 배경 영상운동성분은 추정하는 문제를 다루었다. 물론 두 영상간에 복잡한 조명변화가 존재하는 경우다. 두 영상간의 조명변화를 보상하고 영상운동을 추정하기 위해 기존의 동적 영상 모델롤부터 보다 간단하고 미분특성을 보이는 두개의 동적 영상 모델을 제안하였다. 각 동적 영상 모델로부터 주용 배경 운동성분의 추정을 위해 기존의 운동모델 직접추정 기법에 근거한 새로운 해봅을 제시하였으며 각종 비교실험을 통해 각 모델들의 특성을 비교?분석하였다. 결과로서, 조명변화 하에서 효율적이고 강건한 배경 영상 운동추정을 위한 복합 계층적 운동 모델 추정 기법을 제안하였다. 부연하면, 기존의 계층적 기법에서 피라미드 수준에 따라 조명변화 보상을 위해 고안하였던 세 개의 운동 영상 모델을 서로 다르게 적용하게 된다. 이렇게 함으로써 주요 배경 운동 성분을 보다 빠르고 정확하게 추정할 수 있게 된다. 실제 영상에 적용하여 그 유효성을 입증하였다.
