This dissertation relates to the entire framework and methods of coverage path planning, 3D mapping, localization, and high-level control for structural inspection using an unmanned aerial vehicle (UAV). Recently, various robots are being used for the purpose of structure inspection or safety diagnosis, and their needs are also rising rapidly. Among the structure inspection using a robot, a lot of research has recently been conducted on inspection of various facilities and structures using an unmanned aerial vehicle. Among them, one of the most necessary parts of the industry is the study of the autonomous bridge inspection system. Many institutions, universities, and corporations around the world spend a lot of time and money to develop the system, but they have not yet developed a system that is stable enough to be put directly into the field. In this study, the framework for inspecting structures such as bridges using an unmanned aerial vehicle is explained step by step, and finally, the results of experiments in the actual field are attached.
The framework proposed in this study is largely divided into pre-flight, on-flying, and after-flying steps, and the required work is further subdivided within each step. First of all, for safe autonomous flight and efficient bridge inspection of the UAV, preliminary work via pre-flight is required before actual flight. There are more scenarios to check the local part than to check the entire target bridge, and if the entire map of the target bridge is secured, there are many advantages for the operation of an autonomous flying drone, such as obstacle avoidance and rapid inspection. Therefore, for the sake of precise mapping, the 3D point cloud map is created using the graph SLAM method proposed in this study using the data obtained by flying the UAV by manual operation of the user. Based on the 3D point cloud map obtained through pre-flight, the user can pre-specify the parts to be inspected for the bridge and perform coverage path planning. Through this, it is possible to efficiently plan the inspection path and to avoid obstacles such as branches and bridge columns. One of the most important things in structure inspection is the method of covering the entire area without missing parts in the actual inspection. In this study, the structure is divided into multi-layers to extract viewpoints from each layer and solve the optimal path connecting the local paths. Eventually becomes the TSP (Travelling Salesman Problem), so the optimal path is calculated through the LKH (Lin-Kernighan heuristic) Solver.
After this preliminary preparation, the UAV can autonomously fly for actual inspection. The most important is the localization of the UAV. Since the GPS signal is denied at the bottom or near the bridge, in this paper, a graph-based SLAM algorithm combining IMU, camera, and 3D LiDAR is used. In graph-based SLAM, the generation of the basic node has a great influence on the stability and optimization of the overall graph structure. For robustness, visual-inertial (VI) state estimates and the corresponding LiDAR sweep are combined into `subnodes'. And then they are combined into `supernodes' which comprises state and `submap (accumulated scan data)'. The constraints are generated using LiDAR-based normal distribution transform (NDT) and generalized iterative closest point (G-ICP) matching. Before fully globally optimized, NDT locally optimizes the relationship between subnodes in the hierarchical scheme. This enables accurate localization and mapping of the UAV's surroundings for autonomous navigation without operator intervention. Then, using the nonlinear least squares method, we find an optimized solution that minimizes the error. Using the graph structure as described above, the position information of the unmanned aerial vehicle acquired from various sensors can be easily fused. In addition, by using a high-level control method for inspecting the actual structure, the UAV maintains a constant speed between observation points and can respond to instantaneous gusts to ensure the quality of the acquired image and the stability at the time of actual inspection work.
Finally, experiments by scenarios were conducted on various bridges in actuality to verify the results of this system, and the effect of its performance was verified through comparative analysis with the state-of-the-art algorithms.
본 학위논문은 자율 무인 비행체 (UAV: unmanned aerial vehicle)를 이용한 시설물이나 구조물 점검 (structural inspection)을 위한 커버리지 경로 계획 (coverage path planning), 3차원 맵핑 (3D mapping), 위치 추정 (localization), 상위 단 제어 (high-level control) 등의 전체 프레임워크 (framework) 및 그 방법 (method)에 관한 것이다. 최근 다양한 로봇들이 구조물 검사나 안전진단 목적으로 많이 투입되고 있으며 그 니즈 (needs) 또한 가파르게 상승하고 있다. 로봇을 이용한 구조물 검사 중에서도 최근 무인 비행체를 이용한 다양한 시설물 및 구조물의 검사에 대한 많은 연구가 이루어지고 있다. 그 중에서도 산업계에서 가장 필요한 부분 중 하나는 자율 교량 검사 시스템에 대한 연구이다. 세계의 많은 기관과 학교, 그리고 기업에서 해당 시스템을 개발하기 위해 많은 비용과 시간을 투입하고 있지만, 아직까지 실제 현장에 바로 투입이 될 만큼 안정화된 시스템을 개발하지는 못하였다. 본 연구에서는 무인 비행체를 이용한 교량 등의 구조물 검사를 위한 프레임워크를 단계별로 설명하며 최종적으로 실제 현장에서의 실험 결과를 첨부하였다.
본 연구에서 제안하는 프레임워크는 크게 사전 비행 (pre-flight), 비행 중 (on-flying), 비행 후 (after flying)의 스텝으로 나누어져 있으며 각각의 스텝 안에서 또 필요 작업이 세분화 되어있다. 우선 무인기의 안전한 자율 비행과 효율적인 교량 검사를 위해서는 실제 비행 전에 사전 비행을 통한 예비 작업이 필요하다. 대상 교량 전체를 점검하는 것보다 국소적인 부분을 점검하는 시나리오가 더 많고, 대상 교량의 전체 지도가 확보되면 장애물 회피, 신속 점검 등 자율 비행 무인기 운용에 많은 장점이 있다. 때문에 먼저 정밀한 지도 제작 (mapping)을 위해 사용자의 수동 조작으로 비행체를 비행하여 획득한 데이터를 이용하여 본 연구에서 제안한 graph SLAM 기법으로 3차원 점군 (point cloud) 지도를 만든다. 사전 비행을 통해 획득한 3차원 점군 지도를 기반으로 사용자는 교량의 점검할 부분을 미리 지정하여 커버리지 경로 계획 (coverage path planning)을 할 수 있다. 이를 통해, 점검 경로를 효율적으로 계획할 수 있고 나뭇가지나 교량 기둥 등과 같은 장애물 회피도 용이 해진다. 구조물 검사에서 가장 중요한 것 중 하나는 실제 검사 시 빠뜨린 부분이 없이 전체 영역을 커버하는 방법인데 본 연구에서는 구조물을 Multi-layer로 나누어 각각의 layer에서 관측점 (viewpoint)을 추출하고 그 경로를 잇는 최적 경로를 푸는 문제는 결국 TSP (Travelling Salesman Problem)가 되므로 최적의 경로는 LKH (Lin-Kernighan heuristic) Solver를 통해 계산하게 된다.
이렇게 사전 준비가 끝나면 무인기는 실제 점검을 위해 자율 비행을 하게 되는데 이 때 가장 중요한 것은 무인 비행체의 위치 추정 (localization)이다. 교량의 하부 혹은 구조물 근처는 GPS 신호가 수신되지 않기 때문에 본 논문에서는 IMU, 카메라, 3D LiDAR를 융합한 그래프 기반의 SLAM 알고리즘을 사용하였다. Graph SLAM에서는 기본 노드 (node) 생성 (Generation)이 전체 그래프 구조의 안정성 및 최적화에 큰 영향을 미치는데 본 연구에서는 이러한 기본 노드 생성을 강인 (robust)하게 만들어 주기 위해 시각 관성 오도메트리 (Visual-Inertial Odometry) 위치 정보와 3D LiDAR 데이터를 이용해서 Normal Distribution Transform (NDT)로 얻은 위치 정보를 지역(local)적으로 최적화 (optimization)하여 단일한 방법으로 기본 노드 생성하는 방법보다 시스템을 더 안정적으로 만들어주는 것을 실제 실험으로 확인하였다. 그리고 G-ICP (Generalized Iterative Closest Point) 알고리즘을 이용하여 전역(global)적인 그래프 구조의 최적화를 진행하였다. 그 다음 비선형 최소 자승법을 이용하여 오차를 최소화할 수 있는 최적화된 해를 찾게 된다. 이와 같이 그래프 구조를 이용하면 다양한 센서로부터 획득된 무인기의 위치 정보를 쉽게 융합할 수 있다. 또한 실제 구조물 검사를 위한 High-level 제어 방법을 이용해 비행체가 관측점 이동 간에 일정한 속력 및 순간적인 돌풍에도 대응이 가능하게 제어를 하여 획득 이미지의 품질 및 실제 검사 투입 시의 안정성을 확보하였다.
최종적으론 실제 다양한 교량들을 대상으로 시나리오 별 실험을 진행하여 본 시스템의 결과를 확인하였으며 state-of-the-art 알고리즘과의 비교 분석을 통하여 그 성능의 효과를 검증하였다.
