In this paper, we propose the adversarial weighted loss for semi-supervised semantic segmentation, and measure the structural change in underground utility tunnels through segmentation based 3D recon- struction. Underground utility tunnels are city infrastructure that houses facilities such as heating, communication, power, and water in the basement. In order to maintain the functions of the tunnels, inspection, maintenance, and monitoring are being carried out, but existing systems are still lacking in performance, such as detection of dead spots or problems after they occur. Therefore, in this paper, we propose a monitoring system that can measure the structural change of the tunnels using artificial intelligence and RGB-D sensor fusion. First, semi-supervised semantic segmentation is performed on the cable of the tunnels by applying weighted loss based on an adversarial network. In addition, Virtual Adversarial Network (VAT) is applied in the same weighted way to make the segmentation network be robust to noise. Based on the segmented cable, 3D reconstruction of the cable is conducted by apply ing RGB-D dense SLAM, and then the structural change is measured by applying colored point cloud registration. We use PASCAL VOC 2012 and UUT dataset annotated by us for evaluation, to show 0.7 % and 1.3 % improvement for state-of-the-art, respectively, for semantic segmentation. Furthermore, we measure 7mm for translational change and $0.27^\circ$ for rotational change.
본 논문에서는 semi-supervised semantic segmentation을 위한 adversarial weighted loss를 제안하고, seg- mentation을 기반으로한 3D reconstruction을 진행해 지하 공동구에서의 구조적 변화를 측정한다. 지하 공동구는 난방, 통신, 전력, 수도 등의 시설을 지하에 수용한 도시기반시설로서 시민의 생활과 직결된다. 공 동구의 기능유지를 위해 점검, 보수, 감시를 하고 있지만 현존하는 시스템은 사각지대가 존재하거나 문제가 일어난 뒤에 감지할 수 있는 등 아직 성능이 부족한 실정이다. 따라서 본 논문에서는 인공지능과 RGB-D 센서퓨전을 이용하여 공동구의 구조 변화를 측정할 수 있는 감시 체계를 제안한다. 우선 adversarial network 를 기반으로한 weighted loss를 적용하여 공동구의 케이블에 대해 semi-supervised semantic segmentation 을 진행한다. 또한, Virtual Adversarial Network (VAT)를 weighted 방식으로 적용해 노이즈에 강인한 seg- mentation network를 만든다. 그렇게 segmentation된 케이블을 기반으로 RGB-D dense SLAM를 적용하여 케이블을 3D reconstruction하고, 그 후 colored point cloud registration를 적용하여 구조 변화를 측정한다. 본 논문에서는 PASCAL VOC 2012와 자체 dataset인 UUT dataset을 사용해 semantic segmentation의 경우 state-of-the-art보다 각각 0.7%, 1.3%의 성능 향상을 보였으며, 병진 변형에 대해서는 7mm, 회전 변형에 대해서는 $0.27^\circ$까지 구조 변화를 측정하였다.
