This thesis is focused on the vision-based sense-and-avoid of fixed-wing UAVs. The thesis is divided into two parts: one is an image processing algorithm for detection and tracking of aerial vehicles in sight and the other is a collision avoidance algorithm based on potential approach.
Proposed image processing algorithm detects moving airborne obstacles by using the image homography calculated from a video stream taken from the onboard camera and determines whether the detected airborne obstacles are approaching aerial vehicles by the Probabilistic Multi-Hypothesis Tracking (PMHT) method. At the same time, the collision avoidance algorithm estimates the parameters associated with the approaching aerial vehicles such as azimuth angle, elevation angle and relative distance. Finally, the collision avoidance algorithm decides to which aerial vehicle should be avoided and the UAV performs avoidance maneuvers based on the potential approach.
This algorithm performs better than color-based methods especially when the vehicle needs to detect any approaching aircraft at a lower altitude. Further, the algorithm is suitable for actual flight as it is less sensitive to light conditions or color variations. The performance of the proposed algorithm is validated by applying it to the onboard video clips taken during actual flights using two unmanned aerial vehicles and actual flight test.
소형 무인항공기의 충돌회피 구현 시 가장 큰 문제점은 지상의 지형지물이다. 저고도 환경에서는 지형지물이 보이기 때문에 하늘에 비해 상대적으로 복잡한 배경을 갖게 된다. 따라서 단순한 영상처리로는 접근하는 충돌위험비행체를 효과적으로 검출 및 추적할 수 없으며 카메라를 탑재한 비행체의 기동으로 인해 발생하는 불필요한 영향을 제거해야 한다. 이를 위해서는 기존의 영상 전처리 방식과는 다른 측면으로 접근할 필요가 있다.
본 논문에서는 지형이 보이는 복잡한 배경을 역으로 이용하여 영상 내에 존재하는 특징점을 찾고 이를 통해 호모그래피를 계산하여 이전 영상과 현재 영상을 하나의 시점에서 바라본 형태로 만들고 차영상기법으로 저고도 임무수행 중 충돌위협이 존재하는 객체를 검출하였다.
또한, PMHT 알고리듬과 칼만필터를 응용하여 하나의 영상 내에 존재하는 검출 결과가 연속된 영상 내에서 상호연관성을 갖도록 만들고 이 결과를 추적할 뿐만 아니라 정량적인 평가를 통해 충돌위험을 판단하는 알고리듬을 개발하였다. 이 알고리듬은 실제 비행실험을 통해 얻은 영상에 적용하여 영상처리 알고리듬의 성능을 확인하였고 더 나아가 실제 비행실험을 통해 우수한 성능을 갖는다는 것을 검증하였다.
그러나, 검증단계에서 얻은 비행실험결과를 분석하는 도중, 계산에 무효하고 악영향을 주는 특징점이 존재하여 오인식률이 매우 크다는 점을 도출해내었다. 본 논문에서는 이를 개선하기 위해 지평선을 검출하여 유효한 특징점만 찾을 수 있도록 특징점 검출범위를 지정해주는 알고리듬과 공간적 경계정보를 이용하여 비행 중에 보이는 배경을 모델링하는 알고리듬을 개발하였고 앞서 개발한 모든 알고리듬의 통합 및 간단한 충돌회피명령을 계산하는 알고리듬을 추가하여 실제 비행실험으로 영상처리 알고리듬이 적절한 성능을 가진다는 것을 증명하였다.
본 논문에서 개발한 영상처리 알고리듬은 복잡한 배경으로 인한 영향을 대폭 줄여줌으로써충돌위험비행체 인식률을 극대화하였다. 이러한 영상처리 알고리듬은 향후 무인항공기 연구분야에서 중요한 이슈가 될 민간공역 진입 시 필요한 영상처리 기술로 산업화될 수 있으며 현재 국내외로 활발히 연구 중인 무인항공기의 편대비행, 공중급유 등에 활용될 수 있다.
