Object detection in image sequences has a very important role in many applications, such as surveillance systems, tracking and recognition systems, coding systems and so on. We are interested in background subtraction which is very popular algorithm for object detection in image sequences, and also concerned to use the result of detection in selective video coding. Especially when the camera moves and zooms in on something to track the target under drastic illumination change, it's very hard to detect object properly and the coding efficiency reduces. So, we generate a multiple background mosaic system which is called Background Mosaic Plane (BMP) and use it for object detection and video coding. Some experimental results for both object detection and video coding in various environments show that the averaged performance of the proposed algorithm is good. The research has focused on the following topics.
First, we propose BMP structure and generate it to solve the problems for object detection and video coding when there are drastic resolution and illumination change at the same time. BMP is made up of many background mosaics with each different resolution and illumination level which is dynamically calculated and assigned to each mosaic using each descriptor, Resolution Change Descriptor (RCD) and Global Illumination Change Descriptor (GICD).
Second, we propose a unified framework for background subtraction, which is made up of three criteria. The two of them are about the used feature and distance metric respectively. The adaptation rule of the background model to illumination changes is considered in the third criterion. We propose an algorithm using spatiotemporal thresholding for object detection with spatio-temporal distance metric. The distance metric is generated by the feature which uses the intensity and gradient at the same time in the feature level instead of in the decision level. In model update process we use Truncated Variable Adaptation Rate (TVAR) which can control Adaptation Rate (AR) according to its statistics, so it is able to maintain the model's statistics properly through the whole sequence.
Third, we propose a new parameter coding algorithm which can quantize Global Motion (GM) and Global Illumination Change (GIC) parameters in both direct parameter space and transformed parameter space if a maximum distortion error is given. And we suggest a selective video coding scheme using BMP and the result of object detection.
동영상 내의 물체 검출에 관한 연구는 화상 감시 시스템, 추적 및 인식 시스템, 동영상 부호화 시스템과 같이 많은 분야에서 그 역할의 중요성을 인정 받고 있다. 본 논문은 동영상 내 물체 검출 알고리즘 가운데 가장 널리 사용되는 배경 추정을 이용한 방법에 기본을 두고 있으며, 검출 결과를 이용한 선택적 동영상 부호화 또한 목표로 삼고 있다. 특히 조명 변화가 심하게 일어나는 상황에서, 물체를 추적하기 위한 카메라 움직임과 줌 인을 통한 심한 해상도 변화 등이 물체 검출 성능과 동영상 부호화 효율을 크게 떨어뜨린다. 따라서 본 논문은 다수의 배경 모자이크 시스템을 제안하고, 이를 이용한 물체 검출과 동영상 부호화를 통해 앞서 언급한 문제점을 극복하고 있다. 다양한 상황에서의 실험 결과를 통해 그 유용성을 입증하였으며, 집중적인 연구 방향은 다음과 같다.
첫째로 영상 내에 해상도와 조명 변화가 매우 심한 상황에서 발생하는 문제를 해결하기 위해 ‘배경 모자이크 평면’ 이라는 다수의 배경 모자이크 구조를 제안하고 있다. 배경 모자이크 평면은 다수의 배경 모자이크로 구성되어 있고, 각각의 모자이크가 감당하고 처리할 수 있는 해상도와 조명 변화의 양이 정의 되어 있다. 이 때 해상도와 조명 변화의 양은 고안된 각각의 기술자를 이용하여 추정하고, 구성 모자이크는 미리 형성된 것이 아니라 필요에 의해 동적으로 만들어지는 구조이다.
둘째로 배경 추정을 이용한 물체 검출 기법에 대한 통합 구조를 제안하고, 이 구조를 구성하는 각각의 기준에 의거하여 새로운 기법들을 제안하고 있다. 제안한 통합 구조는 다음과 같이 세가지 기준으로 구성된다. 어떤 특징을 사용할 것인가? 어떤 측정치를 이용하여 물체임을 결정할 것인가? 또 배경 모델의 갱신은 어떤 규칙을 따를 것인가?
마지막으로 배경 모자이크 평면을 이용한 선택적 동영상 부호화 시스템을 제안하고 있다. 우선, 파라미터 부호화에 대한 새로운 이론을 제시하고, 형성된 배경 모자이크 평면의 부호화를 수행한 후, 제안한 전략을 이용한 동영상의 선택적 부호화가 이뤄지게 된다.
