The large-scale data accumulation and the rapid growth of computing power have energized intelligent systems based on deep neural networks (DNNs). However, DNNs do not transparently show the reason for the decision, leaving the question of whether to trust the recommendations of deep neural networks and justify their use for humans who utilize them unanswered. Furthermore, DNNs have become essential components for intelligent systems in power budget- and computing capability-constrained environments, such as embedded systems. However, DNNs require significant amounts of computing resources and power, hindering advances in the intelligent system for embedded computing environments.
Visual explanation methods generate explanation by highlighting the input characteristics that strongly influence the output of DNNs, in the form of a saliency map or attention map. Generated visual explanation builds reliability by providing the basis for the DNN’s decision and judgment to practitioners. In this dissertation, we classify existing visual description methods into two folds: activation map-based methods with shorter computation time using activation maps and gradients, and region-based methods with mechanisms to quantify the impact of individual masks on the prediction of DNNs. They have problems such as gradient noise, false confidence, and heavy computing load. Moreover, conventional visual explanation methods consider only the final convolutional layer as the target layer, so there are limitations on achievable explainability due to the low resolution of the final convolutional layer output and the nature of missing object details. Besides, it is important to effectively analyze video frames to achieve maximum potential in onboard systems with the potential to process video inputs in real-time to provide a wider range of new applications and services. Existing deep learning-based analysis methods use video analysis frameworks such as YOLO, but their application to onboard environments with power and computing resource constraints limits achievable detection performance (e.g., mAP).
In chapter 3 of this dissertation, we present Collection-CAM, which leverages multi-level feature maps to improve the explainability of DNNs while minimizing additional computation overhead. The process of creating a visual explanation of the Collection-CAM is summarized as follows. First, the Collection-CAM searches for the most suitable form of partitions through bottom-up clustering and clustering verification processes. The Collection-CAM then overcomes false positivity when used without distinction by applying different preprocessing procedures for shallow and final feature maps. Finally, the Collection-CAM completes the attention map generation process by combining collection-specific masks with the use of contributions to confidence scores. The proposed visual explanation technique shows a dramatically lower computational overhead and better explainability compared to conventional region-based visual explanation methods.
In addition, chapter 4 presents scheduling techniques for effective object change detection in onboard environments with power budget constraints. To this end, we first used an object change detector using Vision GNN as a backbone. Vision GNN is a state-of-the-art graph convolutional network designed for vision tasks. Furthermore, we derive optimization problems for maximum performance within the power budget when running Vision GNN-based object change detectors in heterogeneous accelerator onboard environments. Furthermore, we derive optimization problems for maximum performance within the power budget when running Vision GNN-based object change detectors in heterogeneous accelerator onboard environments. We propose an adaptive scheduling heuristic based on the bottleneck-free condition to resolve the optimization problem. We validate the performance of the proposed method with a custom onboard environment equipped with NVIDIA Jetson Nano GPU and Xilinx XCZU7EV FPGA. Experimental results show that the proposed scheduling method achieves a detection performance improvement of more than 5\% at a much lower computational cost compared to YOLO-v5l.
In conclusion, in this dissertation, we propose adaptive scheduling schemes for accelerating visual explanation generation using hierarchical clusters of feature maps and detecting object changes in onboard environments. We also theoretically validate the proposed scheduling scheme and demonstrate superiority through experiments in general computing and onboard computing environments.
데이터의 대규모 축적 및 컴퓨팅 파워에 대한 빠른 성장은 심층 신경망을 기반으로 하는 정교한 지능형 시스템에 활력을 불어넣었다. 하지만 심층 신경망은 결정의 이유를 투명하게 보여주지 않아 이를 활용하는 인간에게 심층 신경망의 권고를 신뢰하고 사용을 정당화할 것인가에 대한 문제를 미답으로 남긴다. 또한, 심층 신경망은 임베디드 시스템과 같은 전력 및 컴퓨팅 파워의 제약이 있는 환경에서의 지능형 시스템의 중요한 구성요소이다. 하지만 심층 신경망은 상당한 컴퓨팅 자원 그리고 전력을 필요로 하여 임베디드 컴퓨팅 환경에서의 지능형 시스템에 대한 발전을 방해한다.
시각적 설명 방법은 돌출 맵 또는 주의 맵의 형태로 심층 신경망의 출력에 강력한 영향을 미치는 입력의 특성을 강조하여 설명을 생성한다. 이렇게 생성된 시각적 설명은 심층 신경망을 사용하는 실무자에게 그 결정 및 판단애 대한 근거를 제공하여 신뢰성을 구축한다. 이 학위논문에서는 기존 시각적 설명 방법을 활성화 맵 그리고 그라디언트를 사용하여 짧은 연산 시간 특성을 갖는 활성화 맵 기반의 방법과 개별 마스크가 심층 신경망의 예측에 미치는 영향을 정량화하는 메커니즘을 갖는 영역 기반의 방법으로 분류한다. 이들은 gradient noise, false confidence, heavy computation load와 같은 문제를 보인다. 또한, 기존의 시각적 설명 방법은 최종 컨볼루션 레이어만을 대상 레이어로 간주하기 때문에 최종 컨볼루션 레이어 출력의 낮은 해상도 및 객체의 세부사항을 누락시키는 특성으로 인해 달성가능한 설명성에 대한 제한이 있다. 또한 시각적 정보를 실시간으로 비디오 입력을 처리하여 보다 광범위한 새로운 애플리케이션과 서비스를 제공할 수 있는 잠재력을 갖는 온보드 시스템에서 최대 잠재력을 달성하기 위해 중요한 점은 비디오 프레임을 효과적으로 분석하는 것이다. 기존의 딥 러닝 기반 분석 방법은 YOLO와 같은 비디오 분석 프레임워크를 사용하지만, 전력 및 컴퓨팅 자원 제약이 있는 온보드 환경에 그대로 적용하면 달성 가능한 탐지 성능(예: mAP)에 한계가 생긴다.
본 논문의 3장에서는 다단계 피쳐맵을 활용하고 추가 연산 오버헤드를 최소화하는 동시에 심층 신경망의 Explainability을 향상시키는 Collection-CAM을 제안한다. Collection-CAM의 시각적 설명 생성 과정은 다음과 같이 요약된다. 첫째, Collection-CAM은 상향식 클러스터링 및 클러스터링 검증 프로세스를 통해 가장 적합한 형태의 파티션을 검색한다. 그런 다음 Collection-CAM은 얕은 형상 맵과 최종 형상 맵에 대해 서로 다른 전처리 절차를 적용하여 구별 없이 사용할 때 false positiveness를 극복한다. 최종적으로, Collection-CAM은 컬렉션별 마스크를 신뢰 점수에 대한 기여도 사용과 결합하여 주의 맵 생성 프로세스를 완료한다. 제안하는 시각적 설명 기법은 기존 영역 기반의 시각적 설명 방법에 비해 더 나은 설명성을 가지면서, 획기적으로 낮은 연산 오버헤드를 갖는다.
또한, 4장에서는 전력 예산 제약이 있는 온보드 환경에서 효과적인 객체 변경 감지를 위한 스케줄링 기법을 제시한다. 이를 위해 우리는 먼저 최첨단 심층 신경망 구조인 그래프 컨볼루션 네트워크를 비젼 작업에 활용한 Vision GNN을 backbone으로 사용하는 객체 변경 탐지기를 사용하였다. 더 나아가 Vision GNN 기반 객체 변경 감지기가 이기종 가속기 온보드 환경에서 구동될 때 전력 예산 내에서 최대 성능에 대한 최적화 문제를 도출한다. 해당 최적화 문제의 해결을 위해 본 논문에서는 병목 부재 조건에 의거한 적응적 스케줄링 휴리스틱을 제안하였으며, NVIDIA Jetson Nano GPU 및 Xilinx XCZU7EV FPGA가 장착된 맞춤형 온보드 환경을 사용한 실험을 통해 제안된 스케쥴링 방법의 성능을 검증한다. 실험 결과는 제안하는 스케줄링 방법이 YOLO-v5l에 비해 훨씬 낮은 계산 비용으로 5% 이상의 탐지 성능 향상을 달성한다는 것을 보인다.
결론적으로, 본 학위 논문에서는 피쳐맵의 계층적 군집을 활용한 시각적 설명 생성 가속과 온보드 환경에서의 객체 변경 탐지를 위한 적응적 스케줄링 기법을 제안하였다. 또한 제안한 스케줄링 기법의 타당성을 이론적으로 검증하고 일반적인 컴퓨팅 및 온보드 컴퓨팅 환경에서의 실험을 통해 우수성을 보였다.
