In this paper, we propose a framework for measuring three-dimensional structural deformation of underground power lines, including an early-fusion four-channel supervised learning instance segmentation network using multi-modal multiple cameras. The underground power zone is a major facility closely connected to the industrial economy and people's lives, and is an underground tunnel with several kilometers of power lines installed. Although inspection, maintenance, and monitoring are performed to maintain the function, the existing system has a blind spot, or even if an abnormal symptom is detected, it is difficult for experts to accurately identify the problem point due to the repetitive structure. In this paper, we use artificial intelligence, RGB-D camera, and thermal camera sensor fusion. First, calibration between multi sensor with different FOV and resolution is performed in two ways. The first is a method of synchronizing the pixel-pixel coordinate system using affine transformation, which is a geometric transformation, and the second is a method of synchronizing the pixel-world coordinate system using in/extrinsic parameter the camera. We self-produce RGB-D-T underground power cables dataset (UPC1200-dataset) using a synchronized multi-modal camera system. After that, RGB 3-channel instance segmentation is applied to the power pipe based on the Deeplab-v3 network. In addition, the proposed early-fusion RGB-D 4-channel instance segmentation network is also applied. Through the proposed method, a three-dimensional space is reconstructed by USing Open3D to the instance segmented power lines, and a 3D thermal image point cloud is constructed using the thermal image. Finally, the three-dimensional structural change is measured in a point to point method using the nearest-neighbor algorithm. In this paper, the PASCAL VOC 2012 Dataset and UPC1200 Dataset were used to improve the performance of instance segmentation by 2.2%, respectively, compared to previous studies. Furthermore, we can measure 2.14mm for translational change and 1.674°for rotational change.
본 논문에서는 멀티모달 다중 카메라를 활용한 Early-fusion 방식의 4채널 지도학습 인스턴스 세그멘테이션 네트워크를 포함한, 지하전력구 전력선의 삼차원 구조적 변형 측정 프레임워크를 제안한다. 지하 전력구는 산업경제와 국민들의 생활에 밀접하게 연결되는 주요시설로써, 수 km의 전력선이 설치된 지하터널이다. 기능유지를 위해 점검, 보수, 감시를 하고 있지만 현존하는 시스템은 사각지대가 존재하거나, 이상징후를 포착하더라도 반복되는 구조로 인해 전문가 또한 문제지점을 정확히 파악하기 어려운 실정이다. 본 논문은 인공지능과 RGB-D 카메라, 열화상(Thermal) 카메라 센서퓨전을 활용한다. 우선 서로 다른 화각(FOV)과 해상도(resolution)를 가지고 있는 이종센서간의 캘리브레이션을 두 가지 방식으로 진행한다. 첫번째는 기하학적 변환인 어파인 변환을 이용해 pixel-pixel 좌표계를 동기화하는 방법이고, 두번째는 카메라 내/외부 파라미터를 이용해 pixel-world 좌표계를 동기화하는 방법이다. 동기화된 멀티 모달 카메라시스템을 이용해 RGB-D-T underground power cables dataset (UPC1200-dataset)을 자체제작한다. 그 후, Deeplab-v3 네트워크를 기반으로 전력배관에 RGB 3채널 인스턴스 세그멘테이션을 적용한다. 또한, Early-fusion 방식의 RGB-D 4채널 인스턴스 세그멘테이션 네트워크도 동시 적용한다. 제시한 방법을 통해 인스턴스 분할된 전력선을 Open3D를 이용하여 삼차원 공간을 재구성한다. 이때 동기화된 열화상 이미지를 이용해 3D 열화상 포인트클라우드를 구성할 수 있다. 마지막으로 최근접 이웃탐색(Nearest-Neighbor Search)을 활용해 point to point방식으로 삼차원 구조적 변화를 측정한다. 본 논문에서는 PASCAL VOC 2012 Dataset과 UPC1200 Dataset을 사용해 인스턴스 세그멘테이션의 경우 선행연구보다 2.2%의 성능향상을 보였으며, 구조적 변형의 경우 병진, 회전변형에 대해서 각각 평균 2.14mm, 1.674° 까지 측정해낼 수 있었다.
