Infrastructure safety inspections based on unmanned aerial vehicles (UAVs) are evaluated to be superior in safety, economic efficiency, and accuracy of inspection results compared to manpower-based inspection methods. In particular, since high-resolution images taken by UAV are directly used to identify and quantify structural defects on the exterior of the facility, the quality of the image has a great impact on the results. However, dynamic blur(motion blur) caused by various external factors such as vibration, low illumination, and wind that occur directly or indirectly in unmanned vehicles can significantly reduce the quality of the image, resulting in inaccurate defect detection or quantified results. Therefore, to solve this problem, this thesis proposes a new image quality evaluation method to evaluate the degree of blur of images acquired from UAV during facility inspection. The proposed methods through the creation of local blur map can effectively classify large image datasets into high-quality and low-quality images. In addition, this thesis propose a deblurring algorithm using Generative Adversarial Network (GAN) to eliminate the motion blur effect of image datasets classified as low-quality. The deblurring method through the GAN model is one of the image restoring methods using the generation model, and operates by modifying the blurred artifacts in the image to generate a clear image. The GAN-based deblur network proposed in this thesis is differentiated from existing studies in that it consists of deblur learning and blur learning modules to eliminate motion blur effects, and generates blur images required for learning of generative model more realistically. Finally, the deblurred UAV image is evaluated through the proposed quality assessment algorithm. In addition, verification experiments based on a publicly available dataset using Full-Reference (FR) evaluation methods demonstrated superior performance compared to existing deblurring algorithms. Furthermore, in surface crack detection experiments utilizing an object detection model (YOLOv7), it was confirmed that utilizing deblurred images yielded better detection results.
무인기(Unmanned Aerial Vehicle, UAV)를 기반으로 한 시설물 안전점검은 인력 기반 점검 방식에 비해 안전성, 경제성 및 검사 결과의 정확성 측면에서 우수하다는 평가를 받는다. 특히, UAV에 의해 촬영된 고해상도 이미지는 시설물 외관에 나타난 구조적 결함을 식별하고 정량화 하는데 직접적으로 활용되기 때문에 이미지의 품질이 결과에 미치는 영향이 매우 크다고 볼 수 있다. 하지만, 무인기에 직, 간접적으로 발생하는 진동 및 낮은 조도, 바람 등 다양한 외부적인 요소로 인해 발생하는 동적 흐림(motion Blur) 현상은 이미지의 품질을 크게 저하시키며 결과적으로 부정확한 결함 탐지 또는 정량화된 결과를 야기시킬 수 있다. 따라서 이 문제를 해결하기 위해 본 논문에서는 시설물 검사 중 무인기로부터 획득한 이미지의 흐림 정도를 평가하는 새로운 이미지 품질 평가 방식을 제안한다. 지역적 흐림 지도(local blur map)을 생성을 통한 동적 흐림 정도의 평가방식은 대규모 이미지 데이터 세트를 효과적으로 고품질과 저품질 이미지로 분류해낼 수 있다. 또한, 저품질 이미지로 분류된 데이터 세트의 동적 흐림 효과를 제거하기 위해 생성적 적대 네트워크 (Generative Adversarial Network, GAN)를 활용한 디블러링(deblurring) 알고리즘을 제안한다. GAN 모델을 통한 디블러링 방법은 생성 모델을 활용한 이미지 복원(image inpainting) 방식 중 하나로 이미지 내 흐릿한 요소(artifact)를 수정하여 선명한 이미지를 생성해내는 방식으로 작동한다. 본 학위논문에서 제안하는 GAN 기반의 디블러 네트워크는 동적 흐림 효과를 제거하기 위해 디블러 학습 및 블러 학습 모듈로 구성되며, 생성 모델 학습에 필요한 흐림 이미지를 블러 학습 모듈을 통해 보다 사실적으로 생성해낸다는 점에서 기존 연구와 차별성을 갖는다. 최종적으로 동적 흐림 효과가 제거된 UAV 이미지는 제안된 품질 평가 알고리즘을 통해 평가된다. 또한, 공공 데이터 세트를 활용한 참조 이미지(Full-Reference, FR) 평가 방식 기반의 검증 실험에서 기존의 디블러링 알고리즘에 비해 우수한 성능을 보였으며, 객체 탐지 모델(YOLOv7)을 활용한 표면 균열 탐지 실험에서도 흐림 제거를 통한 이미지를 활용했을 때 더 우수한 탐지 결과를 나타내는 것을 확인하였다.
