Although new technology driven methods have been utilized to overcome the limitation of human based visual inspection, the human based visual inspection is the most widely used nowadays and there are still unresolved issues. Firstly, onsite inspectors have difficulty in finding the previously detected damage location and tracking their status at onsite. For example, an inspector still marks damage location on a target structure with chalks or on drawings, while comparing the current status of existing damages to their previous status as documented onsite. Secondly, current inspection reports are in paper-based documents, making it difficult to accurately determine the damage location and its chronological change.
In this study, two approaches are proposed to improve the convenience of the onsite inspectors. First, a method to localize damage in BIM model in real time based on visual-inertial odometry using a few seconds of images and IMU measurements is developed. The developed method automates the full process from damage detection to integrating the damage with a BIM model without manual labor. Secondly, a mixed reality-based structural inspection system with onsite damage information marking is developed. The developed system detects structural damage, creates a holographic marker with damage information on the actual physical damage, and displays the marker onsite via an mixed reality headset. Since inspectors can view the marker with damage information in real-time on the display, they can easily identify where the previous damages have occurred and if the size of the damage is increasing. The performances of the two approaches were verified through a field test at a tunnel and a campus building.
육안 검사의 한계를 극복하기 위해 여러 기술을 활용한 방법들이 개발되고 있지만, 검사자의 육안 검사가 현재까지도 가장 보편적으로 사용되고 있으며 다음과 같은 해결되지 않은 문제들이 있습니다. 우선, 검사자는 현장에서 이전 검사 시 발견한 겸함 위치를 찾고 결함 이력을 확인하는데 어려움이 있습니다. 예를 들어, 검사자는 결함 정보가 포함된 검사보고서를 통해서 이전 검사에서 발견한 결함의 위치를 확인합니다. 또한, 검사보고서는 문서화되어 관리되기 때문에 정확한 결함의 위치와 해당 결함의 변화이력을 확인하기가 어렵습니다.
본 연구에서는 현장 검사자의 편의성을 향상하기 위해 다음과 같은 인간-컴퓨터 상호작용 기술 기반 방법을 개발하였습니다. 첫째, 카메라와 관성항법을 결합하여 결함 정보를 BIM 모델에 실시간으로 통합하는 방법을 개발하였습니다. 개발 방법은 결함 검출에서부터 결함 정보를 BIM모델과 통합하는 일련의 전체 과정을 실시간 자동화하기 때문에 별도의 수작업없이 결함 정보를 BIM모델과 통합할 수 있습니다. 둘째, 현장 결함 정보 표기가 가능한 혼합현실 기반 구조물 결함 검사 시스템을 개발하였습니다. 개발 시스템은 결함을 자동으로 감지하고, 결함 정보가 포함된 홀로그램 마커를 생성하여 혼합현실기기를 통해 현장에서 검사자가 실시간으로 결함 정보를 확인할 수 있게 합니다. 검사자는 혼합현실기기를 통해 이전 검사 시 발견한 결함 위치를 홀로그램 마커로 확인할 수 있고, 그 정보 또한 현장에서 확인할 수 있습니다. 개발 시스템은 학교 건물과 터널에서의 현장시험을 통해 그 성능을 검증하였습니다.
