In recent years, satellite image analysis has achieved significantly better performance than conventional analysis methods due to advances in deep learning techniques. Among various satellite image analysis purposes, detecting spatio-temporal changes from satellite imagery is an important task, especially due to the nature of satellites with special purposes such as military monitoring and climate observation. Scene change detection in satellite images is especially important to recognize and process the degree of real-time change in satellite images or to improve the performance of object analysis in satellite images. Most deep learning-based image change detection studies mainly focus on pixel-based methods that generate pixel-wise images representing pixel changes given a pair of images. However, the method has several limitations that ground-truth labels for learning change detection models is not cost-effective, and the typical architecture style that most change detection pixel-based approaches use require a lot of memory footprint and computing power. Moreover, satellite images may not have constant shooting time and illumination due to environmental factors, which leads to problems that degrade pixel-level change detection model performance accuracy. As an alternative to this, there is a scene-level change detection study that determines whether or not the content is identical given a pair of images, but the related prior research mainly considers only a single object environment in the image.
Therefore, in this work, we address scene-based change detection methods considering multiple target object environments. To this end, we propose a scheme that recasts the problem of comparing the pairs of time-varying images into comparing the scene graph representing spatial-topological information of images. In our proposed scheme, we construct node feature vectors in graphs by concatenating object feature vectors and attribute vectors obtained through object detector and additional networks extracting the attributes of each object mapped into high dimensions to focus on the fine-grained changes of multiple objects. In addition, a relative distance vector is calculated based on the 2D coordinate value of each object and defined as an edge feature. We train the proposed graph neural network-based architecture to compare the pair of scene graphs, and return a categorical classification as the final result value that determines the change type of scene rather than binary classification. To enhance its performance, we propose a hybrid loss function that uses both concatenated graph embedding and differences. By doing so, we show that the proposed method has improved over baseline structures by 13% including move cases and 17 % without move cases in overall accuracy performance.
최근 딥러닝 기법의 급속한 발전으로 위성 영상 분석에서 매우 우수한 성과가 보고되고 있다. 다양한 위성 영상 분석 중, 특별히 군용 또는 기후관찰용 등의 특수한 목적으로 시공간적인 변화를 감지하는 것은 중요한 태스크이다. 이러한 위성 영상의 장면 변화 감지는 영상의 실시간 변화 정도를 인식해 처리하거나 위성 영상 속 객체 분석의 성능 향상이 특히 중요하다. 딥러닝 기반 영상 변화 감지 연구는 주로 변화가 발생한 픽셀 단위의 변화 지도를 생성하는 픽셀 기반 방법에 초점을 맞추고 있다. 하지만 이 방법은 변화 감지 모델을 학습하기 위한 레이블에 있어서 다소 비효율적이고, 대부분의 변화 감지 테스크에서 사용하는 모델 특성 상 많은 메모리 사용과 컴퓨팅이 요구되는 문제가 존재한다. 또한 위성영상은 환경적 요인에 의한 촬영시점과 조도 등이 일정하지 않을 수 있고, 이는 픽셀 수준의 변화 감지 모델 성능 정확도를 저하시키는 문제를 초래한다. 이에 대한 대안으로, 이미지 단위로 변화에 대한 이진 분류를 수행하는 연구가 있으나, 이미지 속 단일 객체만 존재하는 환경을 고려한 연구가 일반적이다.
본 논문에서는 이미지 속 여러 대상 객체가 존재하는 환경을 고려한 장면 변화 감지 기법을 연구한다. 이를 위해, 시변 이미지 쌍을 비교하는 문제를 이미지의 특징과 공간 정보를 그래프로 나타내는 장면 그래프로 변환해 처리하는 기법을 제안한다. 제안 기법에서는 다중 객체의 세부 변화에 초점을 맞추기 위해 객체 검출과 각 객체의 속성을 추출하는 네트워크를 통해 얻어진 객체 특징 벡터와 속성 벡터로 장면 그래프의 노드 특징 벡터를 구성한다. 그리고 각 객체의 2D 좌표값으로 상대적인 거리 벡터를 계산하여 엣지 벡터를 정의한다. 이미지에 대한 장면 그래프 처리를 위해 그래프 신경 네트워크 기반 구조를 고안, 그래프 임베딩의 차와 합친 벡터를 사용하는 하이브리드 손실 함수를 적용해 훈련한다. 해당 구조의 모델은 이진 분류에 나아가 장면의 변경 유형을 결정하는 분류 결과값을 모델의 최종 결과 값으로 반환한다. 실험 평가를 통하여, 기존 장면 변화 기법에서 대부분 사용하는 베이스라인 구조의 성능보다 제안하는 기법이 장면 속 다중 객체 환경의 변화 경우 중 움직임 변화를 포함하는 경우 약 13%, 포함하지 않는 경우 17% 장면의 다중 객체 변화 분류 정확도 향상을 보였다.
