Recently, the problem of automated visual surveillance has received growing attention due to increasing needs for improved security and decreasing hardware costs required to construct a surveillance system. The technical issues for visual surveillance include real-time monitoring, storing, and describing the scene of interest. This thesis deals with two essential constituents of visual surveillance systems: a way of extracting moving objects regions and a way of coding the input image sequence. Some important characteristics of surveillance imagery have been considered in designing the object extraction and video coding algorithms: the high temporal redundancy in background informations and the frequent global variations in image intensity caused by illumination changes and automatic controls of cameras.
Especially for object extraction, global intensity changes may results in severe degradation of detection performance. To handle this problem, we propose two mathematical models to describe global intensity changes (GIC) and the corresponding estimation/compensation algorithms. The first model (linear model) is derived from some practical assumptions on GICs and is found to be simple and effective. The second model (piece-wise quadratic model) is derived from a general definition of GICs and thus can describe most kind of GICs with high accuracy. For estimating GICs lastly for real-time applications and robustly against many outliers, efficient parameter-estimation methods for each model are presented. Experimental results show that the proposed GIC models and estimation/compensation methods can eliminate various kinds of global intensity changes very successfully and robustly.
In chapter 3, two types of moving object extraction methods are proposed: a change-detection based method and a background-estimation based method. The proposed change detection algorithm first compensates GICs between a fixed reference background and each input image, and then performs a noise-adaptive thresholding to extract object regions. Since proposed change detection exploits the global consistency of illumination changes by using the proposed GIC compensation, it is free from interior problems, from which most of existing illumination-independent detectors suffer. To robustly estimate the noise variance for noise-adaptive thresholding, an efficient noise estimation strategy is also proposed based on symmetricity and decreaseness of zero-mean noise distributions. Experimental results show that the proposed change detector can robustly extract moving objects against various illumination changes and noises, with superior detection performance to existing change detectors.
The second strategy for moving object extraction, which is based on background estimation, combines Kalman filter theory with the proposed GIC model to recursively update an initial background according to input image intensities. Each pixel in background is modeled as a state of a Kalman filter system and the state transitions are collectively described by single (global) system function: the estimated GIC function. In other words, the proposed system directly follows the global changes in image intensity regardless of the speed of change, while locally adapting only to the slow changes in intensity. Experimental results show that the proposed background estimator outperforms the existing ones, which cannot distinguish fast changes in background from moving objects. After estimating a background image, a figure/ground segmentation is performed to accurately localize moving object regions. The proposed segmentation method is comprised of seed extraction and region growing stages. In seed extraction stage, each pixels of a current image is labeled as sure foreground, sure background, or uncertain according to the difference between the current image and the estimated background. In region growing stage, sure seeds are expanded to neighboring uncertain pixels in the order of priority which is determined by a MAP(maximum a posteriori) cost evaluated at the test position. The MAP cost is derived from the difference-observations and MRF(Markov random field)-encoded spatial priori of label field. Experimental results show that the proposed segmentation method can extract object regions accurately with much less amount of computations than the traditional iterative minimization methods for MAP costs.
Chapter 4 deals with a video compression coding scheme for visual surveillance Two new coding algorithms are added to typical block-based predictive coding scheme such as MPEG-1/2 and H.26x: an efficient random access algorithm with GIC-compensated prediction and a selective coding strategy to control the quality of background and foreground regions separately. The proposed random access scheme is to adaptively decide the coding mode of each anchor frame according to the GIC-compensated prediction error. That is, if the prediction error from the previously intra-coded anchor is not too large, the error image is encoded instead of the current anchor (inter-mode), otherwise, the current anchor itself is encoded with intra-mode. In this way, we can obtain the higher coding efficiency than the typical coding schemes while still supporting the various trick modes such as fast forward, rewind, and random access. For encoding the GIC parameters, a direct coding method and transform coding method are proposed. By describing and encoding global variations in background area into a few GIC parameters, we can obtain the higher coding efficiency. Experimental results show that the proposed anchoring algorithm much improves the coding efficiency of H.263 in rate-distortion sense. To separately control the quality of background and foreground regions, the extraction results of proposed object extraction algorithm are inputted to a selective quality controller, where some different quantization parameters are allocated for foreground and background macroblocks. Experimental results show that the resulting PSNRs of foreground regions are well maintained to be higher than those of background regions.
In summary, we propose two novel methods to handle global intensity changes, two new object extraction algorithms that are robust to noise and illumination changes, an adaptive anchoring method for efficient random access, and a selective quality control scheme for visual surveillance. We expect that each of the proposed algorithms and the overall system to be widely and effectively used in many areas of visual surveillance applications.
본 논문에서는 화상감시 환경에서 빈번히 발생하는 영상간 전체적인 밝기변화, 즉 전역밝기변화를 추정/보상하는 방안을 제시하였으며, 이를 응용하여 화상감시를 위한 이동물체 추출 및 동영상 부호화 기법을 제안하였다.
제 2장에서 제안된 전역밝기변화 추정/보상 기법은 조명변화나 영상획득장치의 자동제어기능 등에 의하여 발생하는 영상간 전체적인 밝기변화를 수학적으로 모형화하여 추정/보상하는 기법이다. 본 논문에서는 전역밝기변화의 모형으로서 선형(2.3절) 및 구간별-2차(2.4절) 다항식 모형을 제안하였으며, 각각에 대해 실시간으로 모형계수들을 추정/보상하는 방안을 제시하였다. 선형모형은 적은 계산량이 소요되는 장점이 있지만 다양한 형태의 전역밝기변화를 모두 다 표현하기에는 무리가 있다. 한편 구간별-2차모형은 다양한 전역밝기변화를 잘 묘사할 수 있지만 계산량이 선형모형에 비해 많이 요구된다. 영상간에 전체적인 밝기변화가 발생하는 다양한 상황에 대한 실험 결과를 통해, 제안된 모형들과 추정/보상 기법은 이러한 전체적인 밝기변화를 아주 잘 제거함을 보였다. 이러한 결과는 제안된 기법이 물체의 이동과 같은 국부밝기변화를 검출하는 데 효과적으로 적용될 수 있으며, 또한 전체적인 밝기변화를 제거하여 영상간 중복성을 높임으로써 동영상 부호화시 예측오차를 줄이는 데 기여할 수 있음을 의미한다.
제 3장에서 제안된 이동물체 추출 기법은 화상감시 환경의 가장 큰 특징인 배경 중복성을 효과적으로 이용하기 위하여, 미리 획득한 배경영상을 이용하거나(3.2절), 시간에 따라 배경영상을 갱신하여 사용하였다(3.3절). 먼저, 고정된 배경영상을 사용하는 변화검출 기반 기법에서는 영상간 전체적인 밝기변화에 대응하기 위해 2장에서 제안한 전역밝기변화 추정/보상 기법을 이용하였으며, 잡음에 적응적으로 대처하기 위한 방안과 음영, 반사와 같은 국부조도변화에 대응하기 위한 방안을 제안하여 사용하였다. 시간에 따라 배경을 갱신하는 배경추정 기반 기법에서는 입력영상과 이전에 추정된 배경과와의 전역밝기변화를 보상한 후 보상 오차 및 잡음에 대하여 칼만여파기를 이용함으로써 배경을 갱신하는 방안을 제안하였으며, 갱신된 배경과 입력영상과의 차영상에 대하여 씨앗영역 추출 및 우선순위에 의한 영역확장을 수행함으로써 상대적으로 적은 계산량으로도 안정적인 물체 추출 결과를 얻기 위한 방안을 제안하였다. 화상감시 환경에서 획득된 다양한 영상에 대한 실험 결과를 통해, 제안된 두 가지 이동물체 추출 기법은 모두 기존 기법들보다 전역밝기변화, 잡음, 그리고 물체추출의 정확도 측면에서 월등히 우수한 성능을 냄을 보였다.
제 4장에 제안된 동영상 부호화 기법은 화상감시의 주요 특성인 배경 정보의 중복성과 영역별 중요도의 차별성을 이용하여 기존의 블록기반 예측부호화 기법의 성능을 개선한 방식이다. 4.2절에서는 임의접근을 위해 앵커영상을 부호화할 때 화면내부호화 뿐 아니라 앵커영상간의 화면간부호화를 적응적으로 이용함으로써 배경 중복성이 높은 화상감시 환경에서 부호화 효율을 향상시키는 적응적 앵커제어 기법을 제안하였다. 4.3절에서는 적응적 앵커제어에 의한 화면간부호화시 전역밝기변화를 추정/보상함으로써 부호화 효율을 더욱 높이게 되는 데, 이때 추정된 전역밝기변화계수들(실수값)을 이진부호어로 만들기 위한 양자화 및 부호화 방안을 제시하였다. 4.4절에서는 3.2절의 이동물체 추출 결과를 이용하여 같은 비트량 하에서 감시대상인 물체영역의 화질을 비감시대상인 배경영역보다 우수하게 유지하기 위한 선택적 부호화 방식을 제시하였다. 화상감시의 전형적인 상황에서 획득된 영상들에 대한 실험 결과를 통해, 제안된 동영상 부호화 기법이 기존 기법보다 율-왜곡 측면에서 우수한 성능을 냄을 보였다.
본 논문에서 제안한 전역밝기변화 추정/보상 기법, 변화검출 기법, 배경추정 기법, 영역분할 기법, 적응적 앵커제어 기법, 선택적 부호화 기법 등은 화상감시의 다양한 응용에 효과적으로 활용될 것으로 기대한다.
