Displacement is one of the most important physical quantities for understanding the health of a structural system and displacement calculation is central to structural damage assessment. With the rapid development of computer vision, vision cameras have been used for structural displacement measurement. However, the target must be manually determined, and it is difficult to apply during an earthquake. In addition, it is sensitive to the intensity of illumination, so there is a limit to continuous displacement estimation. This dissertation aims to expand the applicability of vision-based structural displacement estimation, and three different techniques are proposed:
(1) An automated Region of Interest (ROI) selection technique is developed. The image frames that capture larger movements of the surrounding areas were selected, and the features in the selected frames were grouped using clustering algorithms. The feature group with consistent movement and high density was finally selected as the optimum ROI.
(2) A seismic-induced permanent displacement estimation technique combining acceleration and computer vision measurements is proposed. Before an earthquake, the vision camera and accelerometer are vibrated in a controlled manner using a shaker on the target building. Then, a scale factor map, which converts a translation on an image (in pixels) into a physical displacement, is automatically generated. After the earthquake, a displacement map is constructed to estimate the relative movement of the target building to the natural targets, and then clustered using Gaussian mixture modeling. Finally, undeformed portions of the natural targets are retrieved to estimate the permanent displacement of the target building with respect to the distribution of the natural targets’ movement.
(3) A continuous structural displacement estimation technique is developed by combining measurements from an accelerometer, vision, and Infra-Red (IR) cameras collocated at the displacement estimation point of a target structure. In initial calibration step, the IR camera temperature is optimized by comparing the filtered acceleration-based displacement with the IR-based displacement. After that, in the continuous displacement measurement step, a scale factor and optimum temperature are applied, and vision-based displacement and IR-based displacement are used during the day and night, respectively. At this time, through updating the reference frame, a vision camera sensitive to illumination during the day and an IR camera sensitive to temperature at night enable continuous displacement measurement.
The displacement estimation performance of the proposed techniques was experimentally validated. In addition, the effectiveness of all algorithms included in these techniques was investigated, and the application range and limitations of each technique were discussed.
변위는 구조시스템을 이해하고 손상정도를 파악 할 수 있는 가장 중요한 물리량이다. 최근 컴퓨터 비전의 발전으로 비전 기반 변위계측 기술이 각광 받고 있다. 하지만, 비전기반 변위추정은 대상 타겟을 인위적으로 정해야하고, 지진 발생 시 적용이 어렵다. 또한, 조도에 민감하여 연속적인 변위계측에 한계가 있다. 이 논문은 기존 비전 기반토목 구조물 변위계측의 적용성 확대를 위해, 세 가지 유형의 기술이 제안된다.
(1) 자동 관심영역 선정기술이 개발되었다. 대상 구조물의 큰 변위가 발생했을 때 이미지를 획득 하고 특징점 매칭 후, 이동치의 특성을 활용하여 군집화 한다. 일정한 이동치와 높은 특징점 밀도를 가진 군집이 최적 관심영역으로 선정된다.
(2) 가속도와 컴퓨터 비전을 활용한 지진 후 영구변위 계측기술이 개발되었다. 지진 발생 전 대상 구조물에 설치된 가진기는 비전 카메라와 가속도계에 진동을 가하고 이때, 주변 구조물의 픽셀단위 이동치를 변위로 환상시켜주는 스케일펙터 맵을 생성 한다. 지진 발생 후, 비전 카메라는 주변 구조물의 상대적인 움직임을 계측하고 변위 맵을 생성하고 가우시안 혼합모델을 활용하여 군집화 한다. 마지막으로, 주변 구조물의 비손상 부분을 추출하여 대상 구조물의 영구변위를 추정한다.
(3) 대상 구조물의 변위 추정 지점에 설치된 가속도계, 비전 및 적외선(IR) 카메라의 측정값을 결합하여 연속적인 구조적 변위 추정 기법이 개발되었다. 초기 보정 단계에서 카메라의 온도는 필터된 가속도 기반 변위와 IR 기반 변위와 비교되어 최적화 된다. 이후, 연속변위계측 단계에서 스케일 펙터와 최적화 온도가 비전 카메라와 IR 카메라에 적용되어 낮과 밤의 변위를 추정한다. 이때, 참조프레임 업데이팅을 통해, 조도와 온도에 민감한 비전 그리고 IR 카메라가 각각 낮과 밤에 연속 변위계측을 가능하게 한다.
제안된 세 가지 유형의 기술의 변위 추정 성능은 실험적으로 검증되었다. 또한, 이러한 기술에 포함된 모든 알고리즘의 성능을 검증하였고, 각 기술의 적용 범위와 한계점에 대해 논의하였다.
