The main objective of this thesis is development of a novel structural 6-DOF displacement measurement system in order to monitor the structural safety. The displacement measurement system, a visually servoed paired structured light system (ViSP), is composed of two sides facing each other, each with one or two lasers, a 2-DOF manipulator, a camera, and a screen. The lasers on each side project parallel beams to the screen on the opposite side and the camera near the screen captures the image of the screen. A 2-DOF manipulator on each side controls the pose of lasers to prevent the projected laser beams be on the screen all the time. Since the distance between the screen and the camera is short, the system is robust to environmental changes. By calculating positions of the laser beams projected on the screens and rotation angles of the manipulators, 6-DOF displacement between two sides can be estimated. To reduce computation time, an incremental displacement estimation (IDE) method which updates the previously estimated displacement based on the difference between the previous and the current observed data is proposed. To apply the proposed system to massive structures, the whole area should be partitioned and each ViSP module is placed in each partition in a cascaded manner. The estimated displacement between adjoining ViSPs is combined with the next partition so that the entire movement of the structure can be estimated. The multiple ViSPs, however, have a major problem that the error is propagated through the partitions. Therefore, a displacement estimation error back-propagation (DEEP) method which uses Newton-Raphson or gradient descent formulation inspired by the error back-propagation algorithm; and a pose-graph optimized displacement estimation (PODE) method based on a pose-graph optimization technique recently used in mobile robotics are proposed. To validate the performance of the proposed system and methods, various simulations and experimental tests have been performed. The results show that the system estimates the 6-DOF displacement with high accuracy regardless of environmental changes. To increase sampling rate of the system, an inertial measurement unit (IMU) with a high sampling rate is concurrently used with ViSP in the Kalman filtering framework. The 6-DOF displacement can be estimated with high accuracy and a high sampling rate by fusing ViSP with an IMU.
토목 구조물의 경우 다양한 외부하중에 노출되어있기 때문에, 구조물의 건전도를 실시간, 정밀하게 진단하는 것이 매우 중요하다. 구조물의 변위 측정은 구조물의 건전도를 평가하는 중요한 요소 중 하나로, 구조물의 정적, 동적 거동을 해석하여 건전도 상태를 평가한다. 구조물 변위 측정에 사용되는 센서로는, 가속도계, GPS, LDV (Laser Doppler Vibrometer) 등이 있다. 그러나 가속도계 센서의 경우 온도와 같은 외부환경의 변화에 민감하며, 가속도 값을 두 번 적분하여 변위를 계산하는 방식으로, 신호 드리프트 (Drift) 로 인한 오차가 누적된다는 단점이 있다. RTK (Real Time Kinematic)-GPS의 경우 정밀도가 매우 높으나, 가격이 비싸다는 단점이 있다. LDV 의 경우 설치시 고정점이 필요하고 GPS 와 마찬가지로 가격이 비싸다는 단점이 있다.
이러한 문제를 해결하기 위하여, 최근 카메라 하드웨어 및 영상처리 기술의 발전과 함께 비전 센서 기반의 변위 측정 시스템에 관한 연구가 활발히 진행중이다. 대부분의 비전 센서 기반 변위 측정시스템의 경우 인공표식을 구조물에 설치하고, 원거리 고정점에 설치된 고배율 카메라를 이용하여 구조물의 변위를 측정한다. 하지만, 이 시스템의 경우 인공표식과 비전 센서 사이의 거리가 멀기 때문에 외부 환경의 변화에 민감하고 23자유도 변위만을 측정한다는 한계점이 있다. 본 연구에서는 이러한 문제점들을 해결하기 위하여 레이저 및 비전 센서를 이용한 비주얼 서보잉 기반의 양립형 구조광 시스템 (ViSP: Visually Servoed Paired structured light system) 을 개발하였으며, 최종 목표는 개발된 시스템을 실제 토목 구조물에 적용하여 시스템의 성능 및 구조물로의 적용가능성을 검증하는 것이다.
ViSP는 서로 마주보는 두 면으로 구성되어 있으며, 각 면은 한 개 혹은 두 개의 레이저 그리고 스크린으로 구성되어 있다. 각 면의 레이저는 반대 편 스크린을 향해 조사되며, 스크린 가까이 설치된 카메라를 이용하여 스크린 내 투영된 레이저 빔의 위치 정보를 획득한다. 본 시스템은 카메라와 스크린 사이의 거리가 20 cm이내로 매우 가깝기 때문에 외부환경의 변화에 강인하다는 장점이 있다. 투영된 레이저 빔이 항상 스크린 내 존재하도록 2자유도 매니퓰레이터 (manipulator)를 설치하고 비주얼 서보잉 기술을 사용하여 레이저 빔의 위치를 제어한다. 즉, 카메라와 모터의 엔코더로부터 획득한 스크린의 영상 정보와 레이저 매니퓰레이터의 현재 회전 각도를 이용하여 제어각을 계산한다.
두 면 사이의 6자유도 선형 및 회전 변위는 2자유도 매니퓰레이터의 회전각과 각 스크린에 투영된 레이저의 위치를 바탕으로 계산할 수 있으며, 본 연구에서는 증분형 변위 측정 알고리즘을 개발하고, 개발된 알고리즘을 이용하여 실시간 변위 측정이 가능하도록 하였다. 증분형 변위 측정 알고리즘은 이전 계산된 6 자유도 변위 값을 이전과 현재 관측된 데이터의 차이를 고려하여 업데이트 시키는 방법으로 기존의 뉴턴- 랍슨 (Newton-Raphson) 또는 확장형 칼만 필터 (EKF: Extended Kalman Filter)와 같은 반복 기법의 알고리즘에 비해 계산 속도가 빠르다는 장점이 있다.
또한, 다수개의 ViSP 모듈을 직렬 방식으로 확장할 경우 각 모듈에서 발생한 오차가 전파된다는 문제점이 발생하는데, 이 문제를 해결하기 위한 뉴턴-랍슨 기법 또는 경사 하강법 기반의 변위 측정 오차 전파 최소화 알고리즘 (DEEP: Displacement Estimation Error back-Propagation algorithm) 및 포즈-그래프 최적화 (pose-graph optimization) 기법 기반의 포즈-그래프 최적화 변위 예측 (PODE: Pose-graph Optimized Displacement Estimation) 알고리즘을 개발하였다. 위 알고리즘은 모두 전파 오차를 크게 감소시킨다는 장점이 있으며, PODE 알고리즘은 DEEP 알고리즘과 비교시 선형 변위의 전파 오차를 크게 감소시키고, 일괄적으로 각모듈의 변위를 보정한다는 장점이 있다.
제안된 시스템 및 알고리즘은 시뮬레이션 및 실험을 통해 검증되었으며, 최종적으로 모형 구조물 및 철도 교량에 적용함으로써 제안된 시스템이 실제 구조물의 변위 측정에 효과적으로 적용될 수 있음을 보였다. 현장 실험을 통하여 시스템의 정·동적 변위 측정의 정밀도 및 현장 적용 가능성을 검증하였으며, 실험 결과를 통하여 발견된 시스템 샘플링 레이트의 한계는 관성측정장치 (IMU: Inertial Measurement Unit) 및 ViSP의 센서 퓨전을 통하여 극복하였다. 두 센서의 융합을 위하여 칼만필터를 이용하였으며, 상대적으로 샘플링 레이트가 높은 IMU 센서를 이용하여 6 자유도 변위를 예측하고, ViSP 데이터가 관측될 경우 예측된 변위 값을 업데이트 하였다. 구조물이 고속으로 움직이는 경우, ViSP 카메라 사이의 영상 획득 시간차에 의해 오차가 발생 할 수 있으므로 공분산 교차 기법을 이용하여 변위를 재예측하였다. 또한, 예측된 변위를 기반으로 IMU의 바이어스를 계산하고, IMU 기반의 예측된 변위 값을 보정하였다. 최종적으로, 개발된 기법을 이용하여 고속·고정밀 6자유도 변위 측정이 가능함을 실험을 통하여 확인하였다.