Safety inspection and maintenance of infrastructure including bridges improve the reliability of structures and prevent unexpected accidents due to the aging of facilities. The conventional bridge inspection method have several limitations that cost and time are inefficient, and inspectors are exposed to danger during inspection. In addition to the limitation of the conventional human-based bridge inspection, the development of image sensors and deep learning technology is leading to bridge inspection using Unmanned Aerial Vehicle (UAV). However, there are limitations that need to be addressed for the practical application of UAV-based bridge inspection. Among them, conventional methods using UAV are insufficient to identify missing areas from acquired images and map the detected damage based on deep learning. In order to overcome the limitations of practical application in UAV-based bridge inspection, this thesis proposed image coordinate-based missing area detection and damage mapping method using metadata of the UAV system. The methodology of missing area detection and damage mapping consists of 4 phases. Phase 1 is a procedure to determine the coordinate of the center position of the camera from the location information of the GPS sensor mounted on the UAV. In this phase, the spatial coordinate transformation from the global coordinate system to the UAV coordinate system is performed. In phase 2, the center point coordinates of each image are estimated using the determined center position coordinate of the camera and distance information between the camera and the target object. For phase 3, the coordinates of each image are estimated by calculating the field of view (FOV) size using the working distance and the focal length of the camera. In the final phase, the method of the missing area detection and the damage mapping based on image coordinates of each image is described. The proposed image-coordinate-based approach is validated by using a real-size grid board, and the experimental validation of the missing area detection and damage mapping method is conducted on the concrete shear wall and the actual bridge. The detected missing areas and damage mapping results are compared with image stitching and human-based inspection results, respectively. As a result of experimental validation, the proposed methodology provided the results of the detection of missing areas and mapping of detected damage within appropriate accuracy.
교량을 포함한 중요 사회기반시설물의 적절한 안전점검 및 유지관리는 구조물의 신뢰성을 증진시키며, 시설물의 노후화로 인한 붕괴 등 예상하지 못한 사고를 예방할 수 있다. 하지만, 기존의 교량 검사 방법은 검사자의 안전과 점검에 소모되는 비용과 시간에 대해 비효율적이라는 한계점이 존재한다. 기존 인력 기반 교량 점검의 한계점과 더불어, 영상 센서 및 딥 러닝 기술의 발전으로 무인항공기에 의해 획득된 이미지를 활용하여 교량 점검을 수행하는 새로운 방식으로 전환되고 있다. 그러나, 무인항공기 기반 교량 점검의 실제 적용에는 해결해야 할 제한 사항이 남아있다. 그 중 기존의 무인항공기가 활용되는 교량 점검 방법으로는 검사 영역의 누락 영역이 있는지 여부를 확인하고 딥 러닝 기반으로 손상이 식별된 이미지의 매핑을 수행하기 어렵다는 문제가 있다. 이러한 한계점을 극복하기 위해, 본 연구는 무인항공기 시스템의 메타데이터로 추정된 이미지 좌표 기반 누락 영역 탐지 및 손상 매핑 기법이 제안된다. 제안된 방법론은 총 4 단계로 구성되어 있으며, 1 단계에서는 무인항공기에 장착된 GPS 센서의 위치에서부터 카메라의 중심점 좌표를 결정하는 절차이다. 이 과정에서, 글로벌좌표계에서 무인항공기 좌표계로의 공간좌표변환이 수행된다. 2 단계에서는 결정된 카메라 중심 위치 좌표와 카메라와 피사체까지의 거리 정보를 이용하여 각 이미지의 중심점 좌표 추정이 수행된다. 3 단계의 경우, 카메라의 초점거리와 작업 거리를 사용한 카메라의 시야 크기 계산을 통해 무인항공기가 획득한 이미지의 좌표를 추정한다. 마지막 단계에서는 검사 영역에 대해 추정된 이미지 좌표를 기반으로 누락 영역의 탐지와 손상 매핑 기법이 설명된다. 제안된 이미지 좌표 기반 방법론은 실제 크기의 그리드 보드를 활용하여 검증되며, 인위적인 손상이 있는 콘크리트 전단 벽 및 실제 교량에서는 누락 영역 탐지 및 손상 매핑 기법의 실험적 검증이 수행된다. 탐지된 누락 영역과 손상 매핑 결과는 각각 이미지 스티칭과 인력 기반 검사결과와 비교되며, 실험적 검증에 따라 제안된 접근법은 누락 영역의 탐지와 딥러닝 기반 이미지처리로 검출된 손상의 매핑의 결과를 적절한 정확도 내에서 얻을 수 있었다.
