The conventional satellite imagery analysis is mainly operated by manual analysis from human experts. In such operating system, raw data is just sent to the ground station on-demand of analysis by human experts. However, it takes quite a long time for human experts to analyze a whole scene images collected from the satellite. From such problem, the conventional system attempts to analyze only the regions of interest based on the empirical knowledge of human experts. Therefore, it is hard to conduct high-level analysis which requires much more man power and time cost, and is even hard to expand target regions and timelines for complete analysis. Moreover, as it takes several years to train the human experts for analyzing the satellite imagery, the difficulty in taking over such empirical knowledge also remains.
In Chapter 1 and 2 of the dissertation, in order to overcome such difficulties, we suggest an explainable AI (XAI) based satellite imagery analysis system that can automate the data refinement at the satellite onboard system and conduct further analysis at ground station's high performance computing (HPC) system (expand the manageable scale), and provide explanations of the analyzed results to the human experts for assisting their final decision making (provide reliability on analysis). In order to realize such system, we introduce the 3 main required technologies in this dissertation: (1) a XAI model for analyzing the satellite imagery with reliability, (2) DL model compression for deploying/accelerating the data refinement at the restricted satellite onboard system, (3) resource management for accelerating further DL inference serving in GPU cluster of the ground station system.
In Chapter 3, we propose a method of mediating visual explanations from various attention episodes (i.e. policies of applying attention modules) to improve the explainability in the process of satellite imagery analysis. To generate such various attention episodes in a computing efficient way, we also propose a network layer (DropAttention) that can generate various attention episodes while guaranteeing the stable task performance by training only a single amortized model. From the multiple episodes pool generated by DropAttention, by quantitatively evaluating the explainability of each visual explanation and expanding the parts of explanations with high explainability recursively, our visual explanations mediation scheme attempts to adjust how much to reflect each episodic layer-wise explanation for enforcing a dominant explainability of each candidate. On the empirical evaluation, our methods show their feasibility on enhancing the visual explainability by reducing average drop about 17% and enhancing the rate of increase in confidence 3%.
In Chapter 4, we address the problem of deploying/serving the DL-based analysis model that contains higher computational complexity than the capability of resources at the satellite onboard system. As one of the solutions, we propose a new method of controlling the layer-wise channel pruning in a single-shot manner that can decide how much channels to prune in each layer by observing dataset once without full pretraining. To improve the robustness of the performance degradation with regards to the compression rate, we also propose a layer-wise sensitivity and formulate the optimization problems for deciding layer-wise pruning ratio under target computational constraints. We theoretically derive the optimal conditions and propose the practical optimum searching schemes. Through experiments, the proposed methods show robustness on performance degradation, and achieve at most x8 acceleration and x2.6 reduction on memory occupation for processing DL model on the restricted onboard system while preserving the accuracy.
In Chapter 5, we also attempt to accelerate XAI-based satellite imagery analysis through satellite - ground station collaborative scheduling. In the subject, we construct a power constraints model for satellite onboard processing, and derived delay model for processing XAI task over satellite and ground station system. Under such models, we formulate optimization problem over satellite and ground station systems, where accelerating DL-based data refinement under power constraints is considered at satellite system, and maximizing the size of episode generation for enhancing the XAI-based analysis performance is considered at ground station system. To solve the optimization problem, we propose a satellite - ground station collaborative scheduling scheme that can accelerate the task of XAI analysis and enlarge the advantage of conducting data refinement at satellite system.
Experimental results show that the proposed scheduling scheme achieves x2.1 acceleration and x2.4 lower power consumption than the conventional scheduling scheme at maximum.
In conclusion, we developed a XAI model for providing reliability on the process of satellite imagery analysis, and also developed the technologies required to accelerating such analysis models on the satellite on-board system and the GPU cluster system. We presented the superiority of our methods through theoretical analysis and conducting the empirical evaluations.
기존의 위성 영상 분석 운용 형상에서는 주로 사람이 수작업 판독을 하는 형태로 운영되고 있다. 이와 같은 시스템 형상에서는 위성에서 수집된 정제되지 않은 데이터가 바로 지상으로 송신되고, 전문 판독관이 수요에 따라 판독하게 된다. 하지만, 위성에서 수집한 이미지들을 사람이 모두 판독하기에는 많은 시간이 소요되는 문제가 있다. 이에 따라, 주로 전문 판독관의 경험적 지식에 근거하여 주요 관심 영역만 판독하는 형태로 운용되어왔다. 이로 인하여, 위성이 촬영 가능한 모든 지역 및 모든 시간대에 대해 전수조사의 어려움이 있으며, 사람의 경험적 지식을 인수인계 하는데 수년의 시간이 걸리는 문제가 있다.
본 논문에서는 이러한 어려움을 극복하기 위해, 설명가능한 인공지능 기반의 위성 영상 분석 시스템을 제안하고, 1장 및 2장에서 이에 대한 개요 및 배경을 소개한다. 제안한 시스템을 통해 위성 온보드 시스템에서의 데이터 정제를 자동화하고, 지상의 고성능 컴퓨팅 시스템을 통해 추가적인 상세 분석을 수행하며, 분석된 결과의 설명 근거들을 전문 판독관에게 제공함으로써 신뢰성 있는 최종 의사결정을 보조할 수 있게 한다. 이러한 시스템을 구현시키기 위하여 본 논문에서는 3개의 주요 기술을 소개한다: (1) 신뢰성 있는 위성 영상 분석을 위한 설명가능한 인공지능 모델, (2) 제한적인 위성 온보드 시스템에서의 데이터 정제 기능을 실장하고 연산 처리 가속화하기 위한 딥러닝 모델 압축 기술, (3) 지상과 연동되어 추가적인 분석 처리를 가속화하기 위한 위성-지상 간 협업 컴퓨팅 구조에서의 자원 관리 기술을 주요하게 다룬다.
우선, 3장에서는 위성 영상 분석 과정에서의 설명성을 향상시키기 위해 다양한 주의집중 에피소드 들의 시각적 설명들을 중재하는 기법을 제안한다. 이러한 다양한 주의집중 에피소드를 연산 효율적으로 생성하기 위해, 우리는 또한 단지 한 모델만을 학습함으로써 안정된 작업 성능(정확도)을 보이면서 다양한 주의집중 에피소드를 생성할 수 있는 새로운 레이어 구조(DropAttention)을 제시하였다. 이를 통해 생성된 다중 에피소드 들로부터, 각 시각적 설명의 설명성을 정량적으로 측정하고 높은 설명성에 기여할 수 있는 부분들을 점진적으로 확장 시킴으로써, 제안한 설명 중재 기법은 각 시각적 설명들의 상호 보완 가능한 부분만을 선별하여 취합할 수 있다. 실험 평가 결과, 제안한 기법이 설명성 평가 지표 중 하나인 평균 저하를 최대 17% 감축시켜 시각적 설명성을 향상시키는데 기여할 수 있음을 확인하였다.
4장에서는 높은 연산 복잡도를 가지는 딥러닝 기반 분석 모델을 위성 온보드 시스템의 제한적인 컴퓨팅 자원들에 배포 및 가속처리하기 어려운 문제를 다루고자 한다. 이에 대한 해결책 중 하나로써, 본 논문에서는 사전 훈련 없이 데이터셋을 한번만 보고 각 레이어 마다 얼마나 프루닝할 지를 결정할 수 있는 싱글샷 기반의 레이어 단위 채널 프로닝 최적화 제어 기법을 제안한다. 압축률에 따른 작업 성능(정확도) 저하에 대한 강건성을 향상시키기 위해, 본 논문에서는 또한 레이어 단위 민감도를 제안하고, 주어진 환경의 컴퓨팅 제약 조건을 만족하는데 있어 레이어 별 프루닝 정도를 정하는 최적화 문제를 정립하였다. 해당 최적화 문제를 이론적으로 전개하여 최적 특수 조건을 도출하였으며, 이를 이용하여 최적 해를 도출하는 알고리즘을 제안하였다. 실험을 통해, 제안한 기법이 원본 모델의 정확도 성능을 유지하면서 연산 처리 최대 8배 가속화, 메모리 점유량 최대 2.6배 감축을 달성하였으며, 이를 통해 제한된 온보드 시스템에 고성능 딥러닝 모델도 실장하여 가속처리 할 수 있음을 확인하였다.
5장에서는 설명가능한 인공지능 기반의 위성 영상 분석에 대한 연산 가속처리를 위한 위성-지상 협업 스케줄링 기술을 다룬다. 해당 주제에서, 본 논문에서는 위성 온보드 프로세싱을 위한 전력 제약 모델을 제시하고, 위성 및 지상 시스템으로 연동되는 일련의 설명가능한 인공지능 기반 분석 작업의 처리에 대한 지연 모델을 도출하였다. 해당 모델들을 통해, 위성 및 지상 시스템에서의 자원 관리에 대한 최적화 문제를 정립하였으며, 주요하게 위성 시스템에서는 저전력 제약사항 내 데이터 정제 처리의 가속화를, 지상 시스템에서는 설명가능한 인공지능 기반 분석 성능(설명성)을 향상시키기 위해 생성하는 주의집중 에피소드의 크기를 극대화하는 것을 주요 목표로 하였다. 이러한 최적화 문제를 풀기 위해, 설명가능한 인공지능 기반 분석 작업을 가속 처리하고 위성 시스템에서의 데이터 정제 처리를 통한 이점을 극대화할 수 있는 위성-지상 협업형 스케줄링 기법을 제안하였다. 실험 평가 결과, 제안한 기법을 통해 최대 2.1배의 연산 처리 가속화 및 2.4배의 전력 소모 감축을 달성하여 그 활용성을 확인하였다.
결론적으로, 본 논문은 위성 영상 분석 과정에서의 신뢰성을 제공하기 위해 설명가능한 인공지능 모델을 개발하였으며, 또한 해당 분석 모델을 위성 온보드 시스템 및 지상의 고성능 컴퓨팅 시스템에서 가속처리하기 위한 제어 기술들을 개발하였다. 제안한 기술이 위성 영상 판독의 신뢰성을 향상 시키고, 가속처리 할 수 있음을 이론적 분석 및 실험 평가를 통해 타당성 및 활용성을 확인하였다.
