This thesis presents target tracking architecture for an unmanned aerial vehicle using onboard pan-tilt camera system. The target tracking architecture is divided into four parts: image stabilization, color-based object tracking, target geo-location, visual servoing. Video acquired using an onboard camera on a small unmanned aerial vehicle is commonly plagued with distractive jittery motions and disoriented rotations. These problems make it very difficult for human viewer to identify and select objects of interest. In order to stabilize UAV video, a real-time feature based image stabilization method is proposed. For tracking target selected by user color-based object tracking method is used in this thesis. The target histogram model is weighted by monotonically decreasing kernel profile to reduce influence of background prior to histogram back-projection of probability density image. Using CamShift algorithm on probability image, the target is tracked and new size and orientation of target is updated in each image sequence. Using the location of target in an image, position and attitude of a vehicle, and pan and tilt angle, the object on ground is localized in world coordinates with flat earth model. The guidance law of vehicle is proposed based on position-based visual servoing. The camera gimbal system is manipulated based on image-based visual servoing and provides sustained object acquisition and rapid tracking capability. Through real-time image processing using video acquired on RUAV platform and non-linear helicopter simulation, these tracking architecture was shown to provide a powerful vision-based target tracking for an unmanned aerial vehicle with onboard pan-tilt camera system.
본 논문은 팬-틸트 카메라 시스템을 장착한 무인 항공기의 지상 표적 추적 시스템에 관한 연구이다. 표적 추적 시스템을 크게 네 부분, 영상 안정화, 색상기반 물체 추적, 표적 위치 추정, Visual Servoing으로 나누어 접근하였다. 무인 항공기에 장착된 카메라로부터 얻어진 영상은 일반적으로 산만하고 혼란스럽게 떨리며 회전하는 문제가 있다. 이러한 문제는 사용자로 하여금 관심 있는 물체를 인지하고 선택하는 데 큰 어려움을 준다. 따라서 얻어진 영상을 안정화 시키기 위한 특징점 기반 실시간 영상 안정화 기법을 제안하였다. 본 논문에서는 사용자로부터 선택된 표적을 추적하기 위하여 색상기반 물체 추적 기법을 사용하였다. 배경에 의한 영향을 줄이기 위하여 단조 감소 커널을 이용하여 표적에 가중치를 주어 표적 히스토그램 모델을 결정하며, 히스토그램 Back-Projection 을 통해 표적의 확률 분포 이미지를 얻는다. CamShift 알고리즘을 이용하여 표적의 크기와 방향을 갱신하며 연속적인 영상 내에서 표적을 추적한다. 영상 내의 표적의 위치, 무인항공기의 위치와 자세, 카메라 시스템의 팬-틸트 각으로부터 지상 표적의 위치를 추정한다. 무인항공기의 추적 유도는 Position-based Visual Servoing 을 기반으로 결정된다. 카메라 김발 시스템은 Image-based Visual Servoing을 기반으로 조작되며, 이 시스템은 빠르고 지속적이며 안정적인 추적 성능을 제공한다. 무인 항공기에서 얻어진 영상을 이용한 실시간 영상 처리와 비선형 헬리콥터 시뮬레이션을 통해 제안한 무인 항공기 영상 기반 표적 추적 시스템을 검증하였다.
