With the development of sensing technology, object recognition and data streaming technologies are being used for visual data analysis and transmission in various situations such as satellite images or CCTV video. Recently, research on automation of object recognition based on DNN for input data streams has been actively conducted. In particular, in the case of object recognition that requires high accuracy and reliability, an attempt to use Explainable DNN is drawing attention. Through this, Explainable DNN presents a human-model interactive relearning framework in which a visual interpretation of the input data stream is automatically generated and the reader retrains the DNN through feedback. However, the interactive relearning framework still has problems that degrade the data analysis performance, so a solution is required.
In general, interactive relearning frameworks have the high computing complexity of Explainable DNNs. Because object recognition requires extremely high accuracy and reliability, higher analysis accuracy can be obtained through a large-scale DNN. However, large-scale DNNs containing a large number of network layers and channels have high computing complexity and high memory demands, resulting in long latency. In addition, data to which object recognition is basically applied has a high transmission delay and workload as a large stream such as a continuous ultra high definition image or high definition video. The increased computational complexity due to this transmission delay and high workload degrades the processing performance of the interactive relearning framework and slows the convergence of model accuracy.
In this paper, to solve this problem, we study a scheduling technique for accelerating the Explainable DNN-based interactive relearning framework in HPC environment, and propose a new scheduling technique that considers the complexity of Explainable DNN in FPGA-GPU environment. Existing scheduling techniques do not take into account the computational complexity of DNN processing, and performance is degraded due to wasted use of accelerators and unnecessary delays. To solve this problem, we newly define a time and energy model when processing Explainable DNN in an FPGA-GPU environment, and propose a new scheduling scheme to guarantee latency and minimize energy cost.
Next, we propose a configuration adaptation technique that realizes cost-effective DNN-based object recognition acceleration by adaptively adjusting configuration values (e.g. resolution, frame rate) for large-scale input data streams of the interactive relearning framework. This proposal guarantees the optimal performance of DNN processing speed/resource usage and accuracy for the frame rate and resolution of large-scale input data. In particular, we apply a lightweight online profiling method that takes advantage of the dynamic characteristics of an object that solves the existing high-cost profiling problem. This is a technique that improves the processing speed and dramatically improves the use of accelerator resources while ensuring the same accuracy as the existing DNN processing for the given input data.
In addition, we propose an adaptive unlabeled data selection method based on active learning and semi-supervised learning to reduce the labeling cost of the interactive relearning framework. Existing active learning applies only a small number of labeled data to learning rather than a large number of unlabeled data, causing an overfitting problem. This makes it difficult to converge model accuracy above a certain level and causes a bottleneck in satellite image reading. In this paper, we propose a new method to increase the amount of effective training data and accelerate model accuracy convergence by applying trust-based adaptive data selection and quasi-supervised learning for unlabeled data.
Finally, we propose a chunk caching method based on a short-term time-varying (STV) request model for accelerating real-time transmission delay for large-scale input data streams of an interactive relearning framework. This proposal maximizes cache hits by efficiently utilizing the limited storage capacity of the framework and caching chunks of the data stream to be requested with high probability in advance. Since the real-time data stream follows the STV characteristics, the probability model of the existing caching technique based on the chunk request recording does not guarantee cache hit performance. The newly proposed scheme increases cache hits for real-time data streams and lowers transmission delay.
In conclusion, this dissertation newly proposed cost-adaptive scheduling techniques for real-time transmission delay acceleration of large-scale input data streams in an interactive re-learning framework, Explainable DNN-based analysis, and learning acceleration. It was verified and showed excellence through experiments.
센싱 기술의 발달과 함께, 객체 인식 및 데이터 스트리밍 기술은 위성 이미지나 CCTV 비디오 등 다양한 상황에서 시각적 데이터 분석 및 전송을 위해 활용되고 있다. 최근, 입력 데이터 스트림에 대한 DNN 기반 객체 인식 자동화 연구가 활발히 진행되고 있다. 특히, 높은 정확도 및 신뢰성을 요구하는 객체 인식의 경우 Explainable DNN을 활용하는 시도가 주목을 받고 있다. 이를 통해, Explainable DNN은 입력 데이터 스트림에 대한 시각적 해석을 자동으로 생성하고 판독관은 이에 대한 피드백을 통해 DNN을 재학습하는, 인간-모델 인터렉티브 재학습 프레임워크를 제시한다. 하지만, 인터렉티브 재학습 프레임워크에는 여전히 데이터 분석 성능을 저하시키는 문제점들이 있어 해결책이 요구된다.
일반적으로, 인터렉티브 재학습 프레임워크는 Explainable DNN의 높은 컴퓨팅 복잡성을 갖는다. 객체 인식 특성상 극단적으로 높은 정확도 및 신뢰성을 요구하기 때문에 그만큼 큰 규모의 DNN을 통해 더 높은 분석 정확도를 얻을 수 있다. 그러나 많은 수의 네트워크 계층과 채널을 포함하는 큰 규모의 DNN은 높은 컴퓨팅 복잡도을 갖고 메모리 수요가 커 긴 지연 시간이 발생한다. 게다가, 기본적으로 객체 인식이 적용되는 데이터는 연속된 초고화질 이미지 또는 고화질 비디오와 같은 대용량 스트림으로 높은 전송 지연 및 워크로드를 갖는다. 이러한 전송 지연과 높은 워크로드로 인해 가중된 컴퓨팅 복잡도는 인터랙티브 재학습 프레임워크의 처리 성능을 저하시키고 모델 정확도 수렴 속도를 느리게 한다.
본 논문에서는 이를 해결하기 위해서 HPC 환경에서 Explainable DNN 기반 인터랙티브 재학습 프레임워크의 가속을 위한 스케줄링 기법을 연구하여, FPGA-GPU 환경에서 Explainable DNN의 복잡도를 고려한 새로운 스케줄링 기법을 제안한다. 기존 스케줄링 기법들은 DNN 처리의 컴퓨팅 복잡도를 고려하지 않고 가속기 사용 낭비와 불필요한 지연이 발생해 성능이 저하된다. 이를 해결하기 위해, FPGA-GPU 환경에서 Explainable DNN 처리 시 시간 및 에너지 모델을 새롭게 정의하고, 지연시간 보장 및 에너지 비용 최소화를 위한 새로운 방식의 스케줄링 기법을 제안한다.
다음으로, 인터랙티브 재학습 프레임워크의 대규모 입력 데이터 스트림에 대한 구성 값 (e.g. 해상도, 프레임 속도)을 적응적으로 조정하여 비용 효율적인 DNN 기반 객체 인식 가속을 실현하는 구성 적응 기법을 제안한다. 본 제안은 대규모 입력 데이터의 프레임 속도 및 해상도에 대한 DNN 처리속도/리소스 사용 및 정확도의 최적 성능을 보장한다. 특히, 기존의 고비용 프로파일링 문제를 해결하는 객체의 동적 특성을 활용한 경량 온라인 프로파일링 방법을 적용한다. 이것은 주어진 입력 데이터에 대한 기존 DNN 처리와 동등한 정확도를 보장하면서 처리속도를 향상시키고 가속기 자원 사용량을 획기적으로 개선한 기법이다.
또한, 인터랙티브 재학습 프레임워크의 레이블링 비용을 줄이기 위한 능동적 학습 및 준지도 학습 기반 적응적 Unlabeled 데이터 선택 기법을 제안한다. 기존 능동적 학습은 다수의 Unlabeled 데이터보다, 소수의 Labeled 데이터만을 학습에 적용하게 되어 과적합 문제를 일으킨다. 이는, 일정 수준 이상의 모델 정확도 수렴을 어렵게 하고 위성 영상 판독에서의 병목 현상을 일으킨다. 본 논문에서는 Unlabeled 데이터에 대한 신뢰 기반 적응적 데이터 선택과 준지도 학습을 적용하여 유효한 학습 데이터 양을 늘리고 모델 정확도 수렴을 가속화하는 새로운 방식을 제안한다.
마지막으로, 인터랙티브 재학습 프레임워크의 대규모 입력 데이터 스트림에 대한 실시간 전송 지연 가속을 위한 단기 시변(STV) 요청 모델 기반 청크(Chunk) 캐싱 기법을 제안한다. 본 제안은 프레임워크의 제한된 스토리지 용량을 효율적으로 활용하여, 높은 확률로 요청될 데이터 스트림의 청크를 미리 캐싱하여 캐시 히트를 극대화한다. 실시간 데이터 스트림은 STV 특성을 따르기 때문에 청크 요청 기록을 기반으로 한 기존 캐싱 기법의 확률 모델은 캐시 히트 성능을 보장하지 못한다. 새롭게 제안된 기법은 실시간 데이터 스트림에 대한 캐시 히트를 높이고 전송 지연을 낮춘다.
결론적으로, 본 학위 논문은 인터랙티브 재학습 프레임워크에서 대규모 입력데이터 스트림의 실시간 전송 지연 가속과 Explainable DNN 기반 분석 및 학습 가속을 위해 비용 적응형 스케줄링 기법들을 새롭게 제안하였고, HPC 환경에서 제안한 기법들의 이론을 검증하고 실험을 통해서 우수성을 보였다.
