Moving target detection is an important technique in visual surveillance systems. If a camera is freely moving, it becomes more difficult to detect a moving target, especially in the environment of a wide-range background. To compensate for the global motion of a wide-range background, a disparity-based adaptive multi-homography method is proposed. The proposed method comprises four steps; feature point extraction, generation of adaptive multi-homography matrices using motion grouping, generation of background model and detection of background, and target detection. This proposed method applied the background subtraction technique through the global motion compensation after using ViBe background model on the background motion derived by the multi-homography matrices. The devised adaptive multi-homography matrices method can increases a moving target detection rate since it decreases the residual signals by obtained on global motion compensation procedure. Experiment results show that the proposed method can robustly detect moving targets in sequences taken by a freely moving camera.
센서로부터 습득된 영상에서 이동표적을 검출하는 기술은 대상 (중요/위험) 표적에 대한 감시 및 정찰을 수행할 수 있는 매우 중요한 기술이다. 때문에, 지난 수십 년간 상업뿐만 아니라 군사적인 분야에서 이동표적 검출 기술에 대한 연구가 꾸준히 진행되어왔다. 배경차분 (Background subtraction) 기법이 가장 대표적인 기술로써, 이는 누적된 배경정보를 이용하여 배경모델을 생성한 다음, 현재배경과 배경모델과의 차분 정보를 이용하여 배경의 움직임과는 구별되는 이동표적을 검출해내는 기술이다. 배경을 모델링 하는 기술로는 가장 단순하게는 배경영상들을 평균하는 기법, 통계적인 확률분포를 이용하는 방법, 신경망 또는 Fuzzy 모델을 이용하는 방법, 그리고 Non-parametric 기법들이 존재한다. 정지센서에서 이동표적 검출 기술은 이러한 기법들을 통해 오랜 시간 동안 연구가 진행되어오면서 많은 발전을 이루었다.
그러나 이동센서로부터 이동표적 검출 기술은 그 중요도에 비해 아직까지도 해결하기 어려운 기술 중 하나이다. 이는 센서가 움직임에 따라 습득된 영상에서 배경움직임이 복잡해지기 때문으로, 이는 배경모델링을 어렵게 만들기 때문이다. 따라서, 최근에는 배경움직임보상 (Global motion compensation) 기술을 통해 이와 같은 어려움을 해결하고자 하는 시도가 있어왔다. 배경움직임보상 기술은 두 인접영상간의 배경의 움직임을 정합/일치 (registration) 시키는 기술로써, Reference 영상기준으로 다른 영상의 배경움직임을 보상함으로써, 정지영상의 배경차분 기술을 움직이는 영상에도 적용시킬 수 있다. 하지만, 기존의 배경움직임 보상 기술에는 한계가 있다. 이는 배경움직임을 하나의 호모그래피 매트릭스로 도출하고 이를 통해 배경움직임 보상을 수행하기 때문으로 이는 영상 내에 다양한 배경움직임이 존재할 경우에는 영상정합과정에서 많은 오차가 발생하게 된다. 더욱이 원거리 (Wide range) 영상에서는 이와 같은 현상이 더욱 심화된다. 이는 원거리영상일수록 단순한 카메라 움직임 (e.g. translation) 이 발생한 경우라 할지라도 배경움직임이 거리에 따라 매우 다양해지기 때문이다. 즉, 원거리영상에서는 카메라 움직임에 따라 다양한 시차 (Disparity) 가 발생된다.
본 논문은 기존방법들이 해결하지 못했거나 성능이 매우 제한적이었던 자유롭게 움직이는 센서로부터 획득된 원거리의 배경영상에서 이동표적 검출 기술을 제안하였다. 제안된 방법은 이동표적을 검출하기 위해서 배경움직임 보상을 바탕으로 한 시차기반 적응형 다중 호모그래피 기법을 고안하였다. 이를 위해, 제안된 방법은 두 인접한 영상들로부터 움직임벡터들 (Motion vectors) 을 유도한 뒤, 새롭게 고안한 DMC 좌표계 (Distance and motion coordinate system) 와 Regression lines 을 이용하여 배경모델을 생성하기 위한 기초 배경움직임 (Preliminary background motion) 을 도출해 낸다. DMC 좌표계는 거리와 움직임벡터들간의 관계를 3차원 좌표축에 나타냄으로써, 시차에 따른 배경움직임을 잘 나타낼 수 있는 좌표계이다. 검출된 기초 배경움직임은 움직임벡터들의 유사도에 따라 그룹핑되고, 각 그룹마다 배경움직임을 표현하는 다중 호모그래피 매트릭스를 도출하는데 이용된다. 따라서, 생성된 다중 호모그래피 매트릭스들은 단일 호모그래피 매트릭스를 이용한 기존의 방법들보다 배경움직임을 더 잘 표현해 낼 수 있다. 그런 다음, 해당 방법은 다중 호모그래피 매트릭스에 의해 도출된 배경움직임들에 ViBe (Visual background extractor) 배경모델을 적용한 뒤, 배경움직임보상 기술을 이용하여 배경차분 기술을 적용했다. 개발된 적응형 다중 호모그래피 매트릭스기법은 배경영상들을 정합하는 과정에서 발생할 수 있는 잔여신호 (Residual signal) 를 확연히 감소시켜 이동표적 검출율을 향상 시킬 수 있다.
제안방법의 성능검증을 위해서는 국방과학연구소의 이동로봇센서로부터 습득한 원거리영상 시퀀스 6종 (Freely moving background sequences) 과 인터넷에 공개된 공개영상 4종류 (Changedetection.net 의 PTZ category set) 가 이용되었다. 비교대상방법들로는 이동표적검출을 위해 배경움직임 보상기술을 적용한 방법들 및 최신의 배경차분기술들을 이용하여 그 결과를 비교하였다. 실험결과들은 제안된 방법이 기존의 방법들에 비해, 다양한 움직임을 지닌 배경 시퀀스들로부터 이동표적의 영역을 보다 정확하게 검출해 내고 있음을 보여준다.
