Driven by continued advancements in deep learning and robotics, the demand for intelligent visual surveillance and investigation systems is increasing. An intelligent visual surveillance system is a system that performs surveillance and investigation tasks in a desired environment based on various computer vision technologies. An intelligent surveillance system reduces human errors, such as missing or misjudging important events related to surveillance work, by automating surveillance tasks. It reduces labor costs by fully automating relatively simple tasks during surveillance work. It allows you to reduce the cost of work. Additionally, by linking an intelligent surveillance system with robotics technology, it is possible to prevent industrial casualties by using robots to perform investigation tasks in hazardous industrial environments. The core technology in this intelligent visual surveillance system is Scene Change Detection (SCD), a technology that detects changes between images. SCD is a process of comparing two photos taken in the same place at different times to segment the changed area, and there is a random time interval between the photos taken. The longer the time interval, the greater the illuminance or environmental changes in the same place, such as night and day or summer and winter, so it is important to develop an SCD technique that is robust to such environmental changes. In addition, when performing SCD using a robot, the difference in shooting angle between photos can be large, so it is important to develop technology to compensate for this. To this end, studies based on data augmentation, introduction of correlation layers, and supervised learning using optical flow models have been conducted, showing good results in outdoor and indoor environments. However, existing models require datasets containing expensive pixel-level labels for learning, have limitations in that only binary classification of changes is possible, and do not consider the image matching step required before SCD, making them impractical. There is. To improve the practicality of SCD, this paper uses an unsupervised learning method based on the feature-metric alignment of two input images, a semantic change detection technique using a multimodal model such as CLIP, and images extracted through the SCD model. We propose a technique to perform image matching based on features. The proposed techniques reduce the cost of SCD model learning by utilizing the features of unsupervised learning and pre-trained large models and increase the practicality of SCD technology by integrating image matching and SCD. Comparative experiments with existing techniques were performed on various indoor and outdoor data to verify the performance of the proposed technique, and the feasibility of the proposed technique was verified through ablation studies.
딥 러닝 및 로보틱스 분야의 계속된 발전에 힘입어 지능적인 시각적 감시 그리고 조사 시스템에 대한 수요가 증가하고 있다. 지능적인 시각적 감시 시스템은 컴퓨터 비전의 다양한 기술을 바탕으로 원하는 환경에서 감시 및 조사 태스크를 수행하는 시스템이다. 지능적인 감시 시스템은 감시 업무의 자동화를 통해 사람이 감시 작업과 관련한 중요 이벤트를 놓치거나 잘못 판단하는 등의 인적 오류를 줄이고, 감시 작업 중 비교적 간단한 업무의 완전 자동화를 통해 인건비를 줄일 수 있게 하여 감시 작업의 소요 비용을 줄일 수 있게 해준다. 추가적으로 지능적인 감시 시스템을 로보틱스 기술과 연계하여 위험 산업 환경에서의 조사 업무를 로봇 투입을 통해 수행함으로써 산업 인명 피해를 예방하는것도 가능하다. 이러한 지능적인 시각적 감시 시스템에서 핵심이 되는 기술은 이미지 사이의 변화를 감지하는 기술인 Scene Change Detection (SCD) 기술이다. SCD는 같은 장소에서 다른 시간에 촬영된 두 장의 사진을 비교하여 변화된 영역을 분할해내는 작업이며, 촬영된 사진 사이에는 임의의 시간 간격이 있다. 시간 간격이 길수록 같은 장소에 대해서도 밤과 낮 또는 여름과 겨울 처럼 조도 또는 환경적 변화가 클 수 있어 이러한 환경적 변화에 대해 강건한 SCD 기법을 개발하는 것이 중요하다. 또한, 로봇을 통해 SCD를 수행하는 경우 사진간의 촬영각 차이가 클 수 있어 이를 보완하는 기술 개발이 중요하다. 이를 위해 데이터 증강, correlation 레이어 도입, 그리고 optical flow 모델을 활용한 지도 학습 기반의 연구들이 이루어져왔으며, 실외 및 실내 환경에서 좋은 결과를 보였다. 하지만, 기존 모델들은 값비싼 픽셀 단위의 라벨이 포함된 데이터셋이 학습에 필수적으로 필요하며 변화에 대해 이진 분류만 가능하다는 한계를 갖고 있으며 SCD 이전에 필요한 이미지 매칭 단계를 고려하지 않아 실용적이지 못한 문제가 있다. SCD의 실용성을 향상시키기위해 본 논문에서는 입력되는 두 이미지에 대한 feature-metric alignment 기반의 비지도 학습 방법, CLIP 과 같은 멀티모달 모델을 활용한 의미론적 변화 감지 기법, 그리고 SCD 모델을 통해 추출된 이미지 feature를 바탕으로 이미지 매칭을 수행하는 기법을 제안한다. 제안하는 기법들은 비지도 학습 및 기학습된 거대 모델들의 feature를 활용하여 SCD 모델 학습에 소요되는 비용을 경감시키고, 이미지 매칭과 SCD의 통합 수행을 통해 SCD 기술의 실용성을 증가시킨다. 다양한 실내 및 실외 데이터에 대해 기존 기법의 비교 실험을 수행하여 제안한 기법의 성능을 검증하고, ablation study를 통해 제안한 기법의 타당성을 검증하였다.
