Recently, AI technology provides information such as classification, recommendation, and prediction to
users and is being used for various purposes in a wide range of fields. However, AI technology has a
limitation in that it does not provide validity for the final results derived due to the existence of black
box characteristics. To solve this problem, many studies on the XAI (eXplainable AI) model are being
conducted to explain the transparency and validity of the process and judgment grounds judged by the
deep learning model. This XAI model improves reliability by providing users with explanation of why
these results were derived. However, in the case of the XAI model, there is a problem that resources
are consumed as the number of objects to be processed increases. For example, when detecting objects
of various scales using a representative Feature Pyramid Network structure applied to improve explainability, visualized characteristics for each layer must be extracted, which consumes a lot of computing
resources. To solve this problem, task scheduling shall be performed in consideration of the processing
process in a heterogeneous environment with energy efficiency characteristics.
To solve the above problem, this thesis considers the explanatory of the multi-scale feature map of
FPN and the scheduling considering the resource cost of visual explanatory map generation. First, we
proposed explanatory modeling based on the visualization map of the Scalable Feature Block and the
object detection believer of the learned model. Since the explanatory properties of FPN Blocks differ
depending on the characteristics of the target object, we modeled the explanatory properties as a linear
model for the block reflection ratio of FPNs and detection performance by object. In addition, we propose
an adaptive XAI task scheduling algorithm to minimize energy consumption of heterogeneous FPGAGPU resources when generating a Saliency Map. The proposed scheduling considers the distribution of
tasks in sub-work units to minimize processing costs while satisfying the explanability. We evaluated
the proposed algorithm through multiple object detection applications in heterogeneous FPGA-GPU
clusters. Compared with existing accelerator-based scheduling, the proposed algorithm showed that it
could save 48% of energy consumption at the expense of less than 20% of processing time.
근래 AI 기술은 사용자에게 분류, 추천, 예측 등의 정보를 제공하며 광범위한 분야에서 다양한 용도로 활용
되고 있다. 그러나 AI 기술은 블랙박스 특성이 존재하여 도출한 최종 결과에 대한 타당성을 제공하지 못하는
한계점이 존재한다. 이러한 문제 해결을 위해 딥러닝 모델이 판단한 과정과 판단 근거의 투명성, 타당성을
설명하는 XAI(eXplainable AI) 모델 연구가 많이 진행되고 있다. 이러한 XAI 모델은 사용자에게 왜 이러한
결과가 도출되었느냐에 대한 설명성을 제공하여 신뢰성을 향상한다. 그러나 XAI 모델의 경우 처리해야 할
객체가 증가함에 따라 자원을 많이 소모하게 되는 문제점이 존재한다. 가령 설명성을 향상하기 위해 적용
하는 대표적인 Feature Pyramid Network 구조를 사용하여 다양한 스케일의 객체를 탐지할 때 각 Layer 별
시각화된 특성을 추출하여야 하며, 이는 많은 컴퓨팅 자원이 소모된다. 이러한 문제점을 해결하기 위해서는
에너지 효율적인 특성을 가진 이기종 환경에서의 처리 과정을 고려하며 Task 스케줄링을 수행하여야 한다.
위 문제를 해결하기 위해 본 논문에서는 FPN의 다중 스케일 특성 맵에 대한 설명성과 시각적 설명 맵
생성의 자원 비용을 고려한 스케줄링을 고려한다. 먼저, 우리는 Scalable Feature Block의 시각화 맵과 학습
된 모델의 객체 탐지 신뢰도에 기반한 설명성 모델링을 제안하였다. 타겟 객체의 특성에 따라 FPN Block
의 설명성이 서로 상이해지기 때문에 우리는 FPN의 Block 반영 비율과 객체별 탐지 성능에 대한 선형적
모델로 설명성을 모델링하였다. 또한, 위 설명성 모델을 기반으로 이미지의 시각적 맵(Saliency Map)을
생성할 때 이기종 FPGA-GPU 자원의 에너지 소모를 최소화하기 위한 적응적 XAI 작업 스케줄링 알고리
즘을 제안한다. 제안하는 스케줄링은 입력 이미지에서 검출되는 객체의 설명성을 만족하면서 처리 비용을
최소화하기 위한 서브 작업 단위의 작업 분배를 고려한다. 우리는 제안한 알고리즘을 이기종 FPGA-GPU
클러스터에서 다중 객체 탐지 응용을 통해 평가하였다. 기존 동종 가속기 기반 스케줄링과 비교하여 제안한
알고리즘은 20% 미만의 처리 시간을 희생하여 48% 의 소비 에너지를 절약할 수 있음을 보였다.
