As the usage of unmanned aircraft increases, a vision-based mission becomes one of the important topics in the unmanned aircraft research. SAR and EO/IR sensors can be readily equipped with the unmanned aircraft for the vision-based missions. Especially, the EO/IR sensors are widely used because they are easy to apply to small unmanned aircraft and are inexpensive.
There are many vision-based studies such as object recognition, object tracking, vision-based
navigation, and object localization. Object recognition, especially, is known as one of the most difficult research in the computer vision and unmanned aircraft field because it has many different cases depending on the flight environments. Therefore, there have been various studies on the object recognition such as SIFT and SURF. Because the SIFT and SURF have excessive memory usage and computational load, however, it is tough to apply them to a real-time system. To overcome the limitations, binary descriptor based studies have been such as BRIEF, ORB, BRISK, and FREAK. These algorithms are easy to apply to a low-power device such as cell-phone or Digital Signal Processor (DSP) because they have a low memory usage and a low computational load.
In this paper, the ORB is used for the object recognition and tracking. And it is implemented in an image processing computer that has TMS320DM648 as the main processor. To increase the image processing performance, we use the assembly language based vision library. Because the ORB is rotation-invariant but is not scale-invariant, the object template is implemented to various scales. Also, to reduce the memory usage of the image processing computer, the all binary descriptors of the templates are saved as a database.
A flight control computer that has TMS320F28346 as the main processor calculates the object
location from the sensory data of GPS, INS, gimbal, and pixel position of the recognized object. Also, a linear Kalman filter is adopted to estimate the object position.
To verify the object recognition and tracking system, and localization system, a flight experiment is conducted by using an unmanned aircraft that has a gimbal and an EO-camera. The
flight experiment result shows that the implemented object recognition and tracking algorithm based on ORB works well and can operate in real-time. Also, the result shows that the Kalman filter estimates the object position well.
본 논문에서는 목표물 인식 및 추적, 위치추정 시스템을 실시간 임베디드 시스템으로서 구현하고 멀티로터를 이용한 비행시험을 통해 그 성능을 검증하고자 한다.
목표물 인식 및 추적을 위하여 이진기술자 기반의 이미지 매칭 알고리즘 중 하나인 ORB를 사용하며, 실시간성을 확보하기 위하여 ORB는 Texas Instrument 사(社)의 DSP 중 하나인 TMS320DM648을 메인 컴퓨터로 사용하는 임베디드 영상 처리 컴퓨터 내에 구현된다. 영상 처리 성능을 향상시키기 위해 어셈블리 어(assembly language) 기반의 비젼 라이브러리(vision library)를 사용하며, ORB는 회전 변화에는 강인한 인식이 가능하지만 크기 변화에 있어서는 강인한 인식이 불가능하기 때문에 여러 장의 템플릿을 구성하여 그 문제를 해결하고자 하였다.
하지만 여러 장의 템플릿을 모두 사용할 경우 모든 템플릿에 대한 밝기 정보를 가지고 있어야 하므로 메모리 사용량이 크게 증가한다. 따라서, 모든 템플릿의 밝기 정보 대신 모든 템 플릿의 기술자들을 미리 추출하여 데이터베이스로서 영상 처리 컴퓨터 내에 구성하여 처리 속도를 향상 시키고, 영상 처리 컴퓨터의 메모리 사용량을 줄이고자 하였다.
목표물 추적은 입력되는 이미지 마다 이루어지는 목표물 인식을 통해 수행되며, 목표물이 인식되면 입력된 이미지 내에서의 목표물의 픽셀 위치 정보는 비행 제어 컴퓨터로 전송된다. 관성좌표계 내에서의 목표물 위치는 GPS, INS, 김발각, 이미지 프레임 상에서의 목표물 픽셀 위치를 이용하여 비행 제어 컴퓨터 내에서 계산된다. 비행제어 컴퓨터는 TMS320F28346을 메인 컴퓨터로 사용하며, 목표물의 위치의 정확도를 향상시키기 위해 선형 칼만 필터를 적용하였다.
최종 목표인 실시간 비행시험을 우선 검증하기 위하여 MATLAB 시뮬레이션과 실내 시험을 수행하였다. 이미지 매칭 MATLAB 시뮬레이션으로부터 ORB를 기존 영상 매칭 알고리즘인 SIFT 및 SURF와 비교하여 ORB가 회전에 기존에 널리 사용되는 이미지 매칭 알고리즘인 SIFT나 SURF와 비교하여 회전 변화에 강인하면서도 속도가 훨씬 빠르다는 성능을 확인 하였다. 더불어, 목표물 위치추정 알고리즘을 통해 좌표변환 및 목표물 인식 알고리즘이 정상 작동하는 것을 확인 하였다. 더불어, 실내 시험으로부터 영상 처리 컴퓨터가 실시간으로 동작 가능하다는 것을 확인하였고, MATLAB 툴을 이용한 캘리브레이션을 통해 카메라의 초점 거리를 확인 하였다.
최종적으로 목표물 인식 및 목표물 추적, 목표물 위치추정의 통합 시스템을 검증하기 위해 광학 카메라와 김발이 장착된 멀티로터를 이용하여 비행 시험을 수행하였고, 비행 시험의 결과로부터 본 시스템이 실시간 임베디드 시스템으로서 활용 가능하다는 것을 확인 하였다.
