Vision-based aircraft tracking has been considered for emerging real-world applications, such as collision avoidance, air traffic surveillance, and target tracking for military use. However, conventional tracking methods often fail in following aircraft due to 1) variations of object shape, 2) continuously varying background, and 3) unpredictable flight motion. In this thesis, we address the problems of vision-based aircraft tracking. To this ends, we propose a principled manner of improving color-based tracking algorithm by combining a biologically inspired saliency feature. More specifically, we exploit the integration of color distributions into particle filtering, which is a Monte Carlo method for general nonlinear filtering problems. To overcome the varying appearances which are usually from changing illumination and pose conditions, we update the target color model. Furthermore, we adopt a structure tensor based saliency algorithm to incorporate the saliency features into particle filter framework, which results in robustly assigning appropriate particle weights even in complex backgrounds. The rationale behind our approach is that color and saliency information are complementary, both mutually fulfilling and completing each other, especially when tracking aircraft in a harsh environment. Tests on real flight sequences reveal that the proposed system yields convincing tracking outcomes under both variations of background and sudden target motion changes.
컴퓨터 비젼 기반의 비행기 추적은 실제 응용분야(e.g., 충돌 방지, 비행기 교통 통제, 군사적 목적을 위한 타겟 추적 등)에 대한 다양한 가능성으로 인하여 활발하게 연구되어 지고 있는 분야 중 하나이다. 하지만 기존의 컴퓨터 비젼 추적 알고리즘들은 다음의 이유로 인하여 손쉽게 추적이 실패하게 된다 : 1) 객체의 크기의 변화무쌍함, 2) 지속적으로 변화하는 배경 영상, 3) 비행기의 움직임에 대한 정확한 예측의 어려움. 본 논문에서 우리는 비젼 기반의 강건한 비행기 추적을 위한 새로운 알고리즘을 제안하였다. 우리는 색상 기반의 추적 알고리즘과 생물학적 원리로 부터 영감을 얻은 돌출 특징 벡터를 효과적으로 결합하는 방법을 제안하였다. 구체적으로 우리는 우선 색상 분포 정보를 파티클 필터에 결합시켰다. 파티클 필터는 몬테카를로 방법으로서 일반적으로 비선형적인 필터링 문제를 해결하는데 주로 사용된다. 제안하는 알고리즘은 특히 조명과 자세의 변화로부터 발생되는 비행기의 외부적인 형태 변화에 대하여 강건하게 대처하기 위해 타겟의 색상 모델을 업데이트하는 방법을 도입하였다. 또한 복잡한 배경에서도 강건하게 파티클의 중요도를 결정하기 위하여 구조 텐서에 기반한 돌출 알고리즘을 파티클 필터 프레임워크에 결합하였다. 제안하는 방법에 내재된 원리는 색상 정보와 돌출 정보가 복잡한 배경에서 서로 보완적이고 또한 부족한 점들을 보충할 수 있다는 것이다. 우리는 제안하는 알고리즘의 성능을 평가하기 위해 실제 RC 비행기로 촬영된 영상을 바탕으로 실험을 실시하였다. 실제 실험결과를 통해 제안하는 방법이 배경의 극심한 변화와 갑작스러운 타겟 움직임의 변화등에도 강건하게 대처할 수 있음을 확인하였다.
