With the development of image sensor technology and micro-satellites (CubeSat), the requirements for satellite image analysis such as natural disaster detection have been increasing. As the objective of the analysis is not only scene classification but object-level prediction such as object detection, a feature pyramid-based deep neural networks (FP-DNNs) are interested in the research field. Notably, automatic analysis systems with low-power embedded HWs on a satellite are appeared to conduct scene-level analysis for acquired images with FP-DNN. The reliability of these systems needs to be guaranteed in a satellite environment with no supervision. The architecture of a pyramid network, however, has the problem of uncertain prediction due to spatial information reduction (e.g. pooling) by missing the scale-variant context of a target object. In conclusion, a model accurately detecting small objects with explanation-producing for the prediction is required to deploy complex object-level analysis into a satellite onboard. In addition, the current analysis system only processes these models in low-power satellite onboard or ground station clusters, which has a limitation in handling input requests with various service latency requirements. In order to respond to urgent events, a technique for managing computing resources is required considering high-performance computing resources in a ground station and low-power resources in a satellite, simultaneously.
To resolve the problem, we propose a novel mechanism of explainable AI (XAI) system with a federated satellite-ground station computing in this dissertation; the construction is as follows. Chapters 1 and 2 discuss the detailed architecture of FP-DNN for object analysis and XAI models producing human-interpretable explanation. From the high correlation between objects and background, we argue that the background bias problem is a key resolved in object-level analysis of satellite images. In Chapter 3, we propose a cascading pyramid attention network (CPANet) as the XAI model performing the prediction and visual explanation from acquired images on a satellite. To generate accurate explanation for small context over an image, CPANet constructs an attention sub-network connecting attention regions of multi-layer feature maps in a cascading manner. It can propagate local information of a feature map containing its own spatial context to the following pyramid layer, which makes global explanation. The global explanation enables catching not only tiny contexts but semantic characteristics of a target object. We also consider a refinement for improving explainability via weak supervision based on just simple feedback by providing multiple local explanations to human supervisors. In Chapter 4, we propose a resource management scheme with a federated satellite-ground station computing environment. In particular, we handle a scheduling mechanism under an environment with a resource-constraint in the satellite onboard and high performance cluster in the ground station according to the service level objective (SLO). In low-power accelerators of the satellite, an algorithm determining the batch size and resource allocation strategy is considered to maximize throughput. As processing further analysis in the ground station, the cost-adaptive scheduling scheme is made to minimize the computing cost of the FPGA-GPU cluster while satisfying the remaining latency SLO after the onboard processing.
In conclusion, we propose the XAI computing system cooperate with the satellite onboard and the ground station cluster for object-level analysis of acquired satellite images. It is shown that the proposed CPANet and supervisor feedback make the trained XAI model with high explainability and accuracy in detecting objects. The system can also provide the analysis service flexible to various latency SLO through cost-adaptive resource scheduling in the satellite onboard and the ground station cluster.
이미지 센서과 초소형 인공위성 기술이 발전함에 따라 자연재해와 같은 위성영상에 대한 분석의 요구사항이 점점 커지고 있다. 최근에는 장면 분류 뿐만 아니라 변화탐지, 객체인식 등 객체 단위의 응용도 증가하여 피라미드 심층 신경망 구조를 활용한 연구들이 주목받고 있다. 특히, 위성 탑재체의 임베디드 하드웨어에 신경망 모델을 탑재하여, 촬영된 데이터에 대한 자동화 분석을 수행한 사례들이 등장하였다. 이러한 분석 시스템에서는 사람이 예측결과에 관여할 수 없기 때문에 예측의 신뢰성이 반드시 보장되어야 한다. 하지만 기존 피라미드 특성맵 구조의 공간정보 압축 연산들로 인해 크기가 가변적인 객체의 예측 결과 불확실성 문제가 발생한다. 결과적으로, 위성 시스템에 복잡한 응용을 배치하기 위해서는 예측에 대한 해석가능한 설명과 함께 작은 객체도 정확하게 탐지할 수 있는 기술이 요구된다. 또한, 현재 위성영상 분석의 경우 지상 또는 위성의 하드웨어만을 사용하여 데이터를 처리하기 때문에 동적인 서비스의 사용자 요구수준을 대응하는데 한계가 있다. 긴급한 이벤트에 대응하기 위해서는 위성과 지상의 고성능 컴퓨팅 자원을 동시에 고려한 정밀한 시스템 제어가 요구된다.
본 논문에서는 위 문제를 해결하기 위해 위성 영상분석을 위한 위성-지상의 연합 컴퓨팅 기반의 설명가능 인공지능 (eXplainable AI; XAI) 시스템 기술을 다루며 구성은 다음과 같다. 본 논문의 1장과 2장에서는 이미지 분석을 위한 피라미드 특성맵 기반 심층 신경망 구조와 예측 시스템의 신뢰도를 위한 설명가능 인공지능 기술에 대해 서술한다. 그리고 위성영상 분석에서 배경-객체의 높은 상관관계로 인한 배경편이 문제를 해결하는 것이 기술적으로 풀어야할 요소임을 서술한다. 3장에서는 위성 온보드에서 촬영된 객체 인식 예측 및 시각적 설명을 생성하는 XAI 모델로써, 계단식 피라미드형 주의집중 네트워크 구조를 제안한다. 위성영상의 정교한 설명을 생성하기 위하여 해당 구조는 다중 레이어 특성맵들의 주의집중 영역을 계단식으로 전파하는 네트워크 구조를 개발하였다. 서로 다른 공간적 특성을 가지는 로컬 특성맵의 다중 스케일 주의집중 정보를 효과적으로 상위 레이어로 전파하여 통합된 글로벌 설명을 생성한다. 이는 위성영상의 설명생성에서 작은 객체의 영역을 정교하게 탐지 가능하면서 동시에 객체의 의미론적인 정보도 함께 탐지할 수 있게 한다. 또한, 다중 레이어 주의집중맵의 선택을 통해 판독관의 지식을 모델에 반영하는 약한지도 학습 기반 주의집중 모델 개선 방법을 논의한다. 4장에서는 우리는 위성-지상 연합 컴퓨팅 기반의 자원 스케줄링 모형을 제안한다. 구체적으로 우리는 위성영상의 처리 요구수준에 따라 전력 제한적인 위성 컴퓨팅과 지상의 컴퓨팅 자원에서의 스케줄링 기술을 다룬다. 위성의 저전력 가속기들에서는 주어진 입력 요청에 따라 처리성능을 최대화하기 위한 배치 및 자원 배치 알고리즘이 연구된다. 추가분석을 위해 지상으로 전송된 데이터들을 처리하기 위해 지상에서는 가변적인 스케줄링 환경에서 지연시간을 만족하면서 고성능 자원의 FPGA-GPU 컴퓨팅 비용을 최소화하는 비용 적응적 자원 선택을 통해 효율적인 XAI 모델 처리를 보장한다.
결론적으로, 본 논문을 통해 우리는 인공위성에서 촬영된 이미지에 대한 객체 단위의 분석을 수행할 때 위성 온보드와 지상의 고성능 컴퓨팅 시스템에서 심층 신경망 분석과 그 근거를 판독관에게 제공하는 연합 컴퓨팅 시스템 구조를 제안하였다. 제안하는 피라미드형 주의집중 네트워크 구조와 판독관 피드백 인터페이스를 통하여 학습된 심층 신경망이 객체에 대한 높은 설명성을 가질 수 있으며, 위성-지상의 비용 적응적인 자원 스케줄링을 통해 위성의 제한적인 전력 환경에서 다양한 지연시간 요구조건에 유연한 영상 분석 서비스를 제공할 수 있다.
