A vision-based navigation system with use of terrain elevation map is addressed for autonomous navigation of unmanned aircraft with monocular camera as the supplementary sensor. The aim of this article is to address vision-based navigation techniques for small, low-cost unmanned aircraft, with an emphasis on methods of how to use DTED in vision-based navigation. In this research, new approaches to vision-based navigation with a monocular camera as an alternative to GNSS will be presented. In order to mitigate error accumulation witnessed in vision-based navigation, DTED will be exploited as additional information. Two methods are proposed to combine DTED to vision-based navigation algorithms. First, the vision sensor is used to produce not only the translation by constructing homography relationship, but also height measurement, from aircraft to ground, for referring DTED as done in TRN algorithms. Second, a typical EKF model of bearing-only SLAM technique is examined and modified to add range measurement by using LOS (Line Of Sight) intersection. Simulation studies are conducted to verify proposed methods. The vision sensor is expected to act as an attractive alternative or supplement to navigation systems when the GNSS is denied.
최근 무인 항공기 시스템에 관한 관심이 증가하고 있다. 감시o정찰 및 공격 임무 등 군사 목적뿐만 아니라 교통 모니터링 등 민간 활용을 위하여 무인항공기가 활발히 연구되고 있다. 이러한 무인항공기가 자율성을 갖게 하려면 가장 중요한 것은 항법, 즉 자신의 현재 위치를 아는 것이다. 현재 무인항공기에 널리 사용되고 있는 항법 모듈은 가속도계와 각속도계 및 여타 자세결정 센서가 이루는 관성항법시스템(INS)에 위성항법시스템(GNSS)을 결합하여 관성항법시스템의 오차를 위성항법을 통해 주기적으로 보정하는 방법을 사용하는 형태이다.
그러나 위성항법시스템에 관한 많은 연구는 위성항법시스템이 신호 교란에 굉장히 취약하다는 점을 단점으로 지적하고 있다. 위성항법 신호는 전리층 교란, 휴대전화와 텔레비전 신호 등에 의한 전파 교란뿐만 아니라 악의적인 기만(spoofing), 항로혼란(meaconing), 전파방해(jamming) 등에 의해 이용 불가능 상태에 놓이기 쉽다. 이에 위성항법시스템을 보완하고 비상 시 대체할 수 있는 시스템에 대한 요구가 늘어나고 있다. 인공위성을 대신해 지상에 설치된 무선 표지국을 이용하여 전파 항법을 하는 ILS와 LORAN이 대체 시스템으로 주목받았지만, 이 방법들도 전파를 이용한다는 점에서 위성항법과 같이 의도적인 교란에 취약하다는 단점을 갖고 있다. 이러한 사실을 바탕으로, 연구자들은 항공기의 위치를 추정하기 위해 외부 신호가 아닌 탑재 센서를 이용한 항법 시스템이 필요하다는 점에 의견 일치를 보이고 있다.
이러한 탑재 센서를 이용한 대체 항법에는 지형참조항법(TRN)이 있다. 이는 전파고도계를 이용하여 항공기로부터 지표면까지의 거리를 측정하고 이것을 항공기 내부 메모리에 보유하고 있는 디지털 지형 고도 데이터(DTED)와 비교하여 현재 항공기의 위치를 추정하는 기법이다. 이렇게 지형 고도 데이터를 이용하는 방법은 지표면 고도가 비슷한 점이 많은 지역에서는 무인항공기의 위치를 결정할 때 유일한 해를 얻을 수 없다는 한계가 있다.
또 다른 항법 시스템은 영상 기반 항법이다. 영상 기반 항법은 항공기에 탑재된 카메라를 이용해 촬영한 이미지를 분석하여 항공기의 위치를 추정하는 기법을 말한다. 컴퓨터 비전 및 추정 이론의 발전으로 카메라 시스템은 관성항법시스템과 위성항법시스템의 유력한 보완/대체 시스템으로 주목받고 있다. 센서로서의 카메라 시스템은 탐지하거나 인위적으로 교란하기 어렵다는 장점을 갖고 있다. 더불어, 대부분 무인항공기는 감시/정찰 및 추적 등 임무 수행을 위하여 카메라를 탑재하고 있기 때문에 영상 기반 항법을 구현하기 위하여 추가적인 탑재장비를 장착할 필요가 없다. 영상 기반 항법에 관한 연구는 현재 활발히 진행되고 있으며, 실용성에 초점을 맞추어 실현 가능성에 확신을 주기 위하여 더 많은 연구가 요구된다. 현재, 영상 기반 항법에서 지적되는 문제는 매 시간 발생하는 오차가 계속 누적된다는 점이다. 오차 축적을 억제하는 방법이 영상 기반 항법 연구에서 해결해야 할 과제로 생각된다.
본 논문은 영상 기반 항법의 단점을 보완하기 위해 지형 고도 데이터를 추가적인 정보로 이용하는 방법에 대해 서술하고 있다. 본 연구는 저가의 소형 무인항공기를 위한 것으로, 탑재된 카메라만을 활용하여 유사시 위성항법시스템을 보완/대체할 것을 목표로 하고 있다. 지형 고도 데이터를 영상 기반 항법에 이용하기 위한 두 가지 방법이 제안되었으며 시뮬레이션을 통해 실현 가능성을 보였다. 첫 번째 기법은 영상 시스템이 병행운동 정보를 얻는 기존의 역할뿐만 아니라 3D 복원 기법을 이용해 지상 특징점의 위치를 추정할 수 있다는 사실을 이용하여 지형참조항법의 형태로 지형 고도 데이터를 통해 축적된 오차를 보정하도록 했다. 두 번째 기법은 카메라 센서만을 이용하여 주변환경에 대한 지도를 작성하고 항법을 수행하는 기법인 SLAM에 지형 교차 기법을 통해 지형 고도 데이터를 활용하여 거리 측정치를 추가하도록 했다. 다음 문단부터 각 기법에 대한 자세한 설명을 제시하였다.
첫 번째 기법은 먼저 호모그래피를 이용한 시각적 주행거리 측정 기법(visual odometry)으로부터 시작한다. 이는 본 연구를 시작하게 된 동기를 부여했는데, 실험 결과가 보이는 바와 같이 계속되는 오차 축적 특성으로 인해 실용성 측면에서 의문을 제기하게 한다. 차량의 오도미터와 같이 상대적 이동거리만을 추정하여 이전 위치에 더하는 방식으로 현재 위치를 추정하므로, 오차가 발생할 경우 그것을 기준으로 미래의 위치를 결정하게 된다는 단점이 있다. 이러한 오차를 보정하기 위해 지형참조항법의 추정 필터를 차용하였다. 호모그래피 관계식을 구하기 위해 지상 특징점을 두 번 촬영한 영상이 필요한데, 이를 이용하여 3차원 복원을 하면 각 특징점의 좌표를 얻을 수 있다. 각 특징점의 좌표를 지형 고도 데이터와 비교하여 지형참조항법과 같이 무인항공기의 위치정보를 갱신하게 된다. 본 기법은 전파 고도계를 사용하는 일반적인 지형참조항법과는 다르게 여러 개의 측정치를 사용하므로 더욱 강건한 추정이 가능하며 수렴 속도도 빠르다는 장점이 있다. 본 연구에서는 호모그래피 기법을 지형참조항법 필터에 적용하기 위해 호모그래피 기법에서 이미지 픽셀 오차로부터 비선형적으로 발생하는 오차의 공분산을 추정하는 기법 또한 제시되었다. 일련의 연구는 현재 이 기법 자체로 취급될 뿐만 아니라 일반적인 지형참조항법에 영상 정보를 추가하는 보완 시스템으로써도 연구되고 있다.
두 번째 기법은 카메라만을 사용하는 항공기의 SLAM 알고리듬을 기반으로 한다. 시선각 교차 기법을 통해 지형 고도 데이터가 일반적인 SLAM 기법에 거리 측정치를 제공할 수 있다는 것을 보였다. 또한, 영상을 통해 추적되는 특징점이나 주요 지형지물의 높이가 실제로는 지형 고도 데이터와 일치하지 않을 수 있다는 점에서 지형 고도 편향치를 추정하는 방법도 제시되었다. 항공기 SLAM에서 지형 고도 데이터를 이용하여 거리 측정치를 얻었다는 사소한 변화는 기존 SLAM 기법에 큰 의미를 부여한다. 보통 무인항공기는 거리 센서를 활용하기 힘들고, 거리 센서를 이용한다 해도 산개된 특징점들과의 거리를 모두 측정하기 힘들기 때문에 카메라만을 이용한 SLAM이 적용된다. 이 때 카메라만을 이용한 SLAM 알고리듬을 이용하여 항법을 하기 위해서는 특징점 위치 초기화 작업에 많은 데이터가 필요하기 때문에 선행 비행이 요구된다. 따라서, 유사시 GNSS 교란을 대처하기 힘들다는 점이 대체 항법으로서의 매력을 잃게 했다. 그러나 본 연구에서 제시한 기법을 통해 지형 고도 데이터의 저장으로 거리 측정치를 얻을 수 있으므로, 즉각적인 특징점 위치 초기화가 가능하여 필요 시 항법을 재개할 수 있게 되었다. 본 연구에서 제시하는 기법은 SLAM의 범주에 들어간다기보다 SLAM과 같은 항공기 위치 추정 기법을 사용한다는 점만을 공통점으로 꼽을 수 있다. 본 기법은 항공기의 SLAM에서 주변 환경에 대한 지도를 작성할 필요성을 미리 저장된 지형 고도 데이터로 대체하였다.