With the development of remote sensing technology, satellite imagery is now being utilized for a variety of applications such as environmental monitoring. Recently, the need of automating the annotation process is recently emerging; to achieve this, there have been attempts based on convolutional neural networks. Nonetheless, in order for the deep learning-based systems to be applied in practice, there still exists a room for improvement; we focus on the following three points: (a) Since most of analytics applications for satellite imagery are highly critical in their accuracy, wrong decision of the deep learning-based system could cause significant problems. Hence, its explanability on the prediction results becomes extremely important. (b) If dealing with imageries from multiple satellites, we should consider domain shift among them. In this case, the domain shift occurs according to the specification of the image sensors; in deep network training with the multi-domain images, high accuracy should be achieved for all of the source domains. (c) In addition, training data in deep network training for satellite image analytics is mainly obtained from the labeling of supervisors; however, there could exist cases of occurring mislabeling in practice, and the reliability of the supervisors could also be diverse. Hence, it would be important to correct the mislabeling or to perform learning robust to the label noise.
To resolve these problems, this dissertation deals with a system for multi-class object identification in a satellite-ground HPC environment; the detailed methods proposed are as follows: First, we propose a deep network architecture for multi-domain learning with domain-specific adapters. The adapter module operates as a plug-in for the backbone network; it has the effect of improving channel and spatial attention for input images as well as extracting domain-specific features. We then present an alternating training strategy of the backbone network and the domain adapters; the training process is conducted by alternatively freezing the two components; this allows to iteratively achieve effective separation of domain-invariant and -specific features. Second, we investigate deep network training methods to consider various reliability of multiple supervisors. The discussion is made based on an averaging SGD-based approaches, which have been emerged for accelerating the stochastic gradient descent method and ensuring privacy-preservability in the training. As a supervisors’ reliability-aware training strategy, we discuss a method to reduce the impact of label noise in training by exploiting label smoothing. Here, the smoothing rate is determined based on the expected reliability of each supervisor.
In conclusion, this dissertation aims to reduce the total processing time required for supervisors' labeling and training deep networks in the case when there exist multiple supervisors with various reliability for multi-domain satellite images, while ensuring the expected reliability above a certain level. Through the performance evaluation, it is shown that the proposed methods not only have high multi-class object identification performance, but also exhibit improved visual explanation. In addition, it is also verified via theoretical models and experiments that they provide the robustness with respect to labeling errors in training the target deep networks.
원격 탐사 기술의 발달과 함께, 위성 이미지는 환경 모니터링, 재해 예측 등 다양한 관련 분야에 활용되고 있다. 최근, 위성 이미지 분석에 있어서의 자동화 시도들이 활발히 진행되고 있으며, 이는 주로 합성곱 신경망을 기반으로 연구되고 있다. 하지만, 현재까지의 딥러닝 기반 위성 이미지 분석 시스템들을 실제로 적용하기 위해서는 다음 사항들이 해결되어야 한다. 먼저, 재해 예측 등의 많은 위성 이미지 분석 시스템들은 극단적으로 높은 정확도를 요구하며 해당 시스템의 잘못된 판단은 커다란 문제를 낳기 때문에, 해당 딥러닝 기반 시스템의 경우 신뢰성을 필수적으로 갖추어야 한다. 이는 즉, 딥 네트워크가 도출한 결과에 대한 설명가능성을 제공해야 함을 의미한다. 또한, 다수의 위성들로부터의 이미지들에 대한 분석을 다루는 경우, 그것들 사이의 도메인 이동을 고려하여 딥 네트워크에 대한 학습이 이루어져야 한다. 여기서, 도메인 이동은 주로 위성간 공간 해상도 등이 상이함으로 인하여 발생하며, 이러한 다중 도메인 이미지를 활용한 학습에서는 각각의 소스 도메인 모두에서의 정확도를 내기 위한 학습이 필요하다. 더불어, 위성 이미지 분석을 위한 딥러닝 모델 학습에서의 훈련 데이터는 주로 판독관의 레이블링으로부터 얻어지는데, 실제 환경에서는 해당 레이블링에 오류가 있는 경우가 존재하며 그 신뢰성 또한 판독관마다 다양하게 분포할 수 있다. 따라서 부정확하게 레이블링 된 이미지에 대하여 이를 교정하거나 레이블 노이즈에 강건한 학습을 수행하는 것이 중요하다.
본 논문에서는 이를 해결하기 위한 위성-지상 통합 HPC 환경에서의 다중 클래스 객체 인식을 위한 시스템을 다루며 제안하는 세부 기법들은 다음과 같다. 첫째, 다중 도메인 학습을 위한 딥 네트워크 구조로써, 도메인 특화 어뎁터를 제안한다. 해당 어뎁터 모듈은 백본 네트워크의 플러그인으로써 동작하며, 도메인 고유 특징 추출 뿐만 아니라 입력 이미지에 대한 채널 및 공간 주의 집중을 개선하는 효과를 보인다. 이어 우리는 해당 백본 네트워크와 도메인 어뎁터의 대체 훈련 기법을 제시한다. 해당 기법에서의 학습은 백본 네트워크와 도메인 어뎁터가 번갈아가며 동결되는 방식으로 진행되며, 이는 효과적으로 도메인 고유 및 도메인 공통 특징을 효과적으로 분리할 수 있도록 한다. 둘째, 다중 판독관의 다양한 신뢰성을 고려하기 위한 딥네트워크 훈련 방법을 제시한다. 해당 방법은 기존 확률적 경사 하강법(SGD)의 가속화 및 보안 강화를 목적으로 등장한 평균화 SGD을 이용한 학습 기법을 기반으로 연구된다. 우리는 우선 신뢰성 인식 학습 방법으로써 레이블 평활화를 이용하여 모델 학습에서 레이블 노이즈의 영향을 감소시키는 기법을 논의하며, 여기서의 평활률은 각 판독관의 기대 신뢰성을 기반으로 결정된다.
결론적으로, 본 논문은 다중 도메인 위성 이미지에 대하여 다양한 신뢰성을 가지는 다중 판독관이 존재할 때, 판독 및 딥러닝 모델 학습에 소요되는 전체 시간을 감소시키도록 하며, 여기서 특정 수준 이상의 기대 신뢰성을 보장하도록 한다. 성능 평가를 통하여, 제안된 방법들이 높은 다중 클래스 객체 인식 성능을 가질 뿐만 아니라, 개선된 설명 시각화 특성을 나타냄을 보이며, 또한 단일 판독관 만을 고려할 때 뿐만 아니라 다중 판독관 환경에서도 고려하는 레이블 평활화 등의 방법론들이 레이블링 오류에 강건하도록 딥네트워크를 학습시키는 데 우수성을 보임을 이론적 모델 및 실험을 통하여 검증한다.
