Big data computing is a technology that enables low-cost, low-risk decision making for data-based industries by applying information embedded in data in real-time to traditional industrial processes through the production, storage, and analysis of increasing data. With the advance of the network infrastructure, smart sensors, and various monitoring technology, a variety of value creation services are available through a decision model based on high-level abstraction with the nonlinear transformation of deep learning. In this dissertation, we study the accelerated computing system considering time-variant properties for accurate energy demand prediction by processing the AMI stream data, which plays an important role in the next-generation energy system. In future urban environments, intelligent surveillance systems can also provide a variety of application services, such as illegal parking detection, by analyzing and processing video streams collected and generated from urban systems and vehicles. Analytic models in which objects are represented in a specific time and space from multiple observation sources have been studied through spatial feature vectors and spatial inverse projection of image objects. However, there are problems in collected multiple big data streams such as changes in data distribution over time, different characteristics of multi-class data, memory constraints and computational inefficiencies due to unbound characteristics of stream data, selection of suitable models based on training/inference performance and difficulty in the scheduling of resource corresponding to computational workload. Therefore, many researches have been studied to resolve these problems.
In this dissertation, we proposed an edge cloud acceleration system based on an incremental learning scheme for efficient big data stream processing, a new task scheduling scheme for stream data training and inferencing task. And, we discussed a cloud workflow scheduling scheme and its application for DL acceleration in the edge-cloud environment.
Firstly, we proposed an integrated system architecture with a deep learning training acceleration scheme through incremental deep learning of hyperparameter update scheduling and with heterogeneous accelerator (FPGU, GPU) resource scheduling for lightweight data types such as AMIs in edge-based stream processing environments. We resolved the parameter update scheduling problem to reflect the short-term non-stationary AMI data at a low latency while minimizing the decrease in prediction performance resulting from the partial training dataset. In the incremental deep learning, an unbounded data stream was handled as a bounded data stream. We proposed a utility function for adaptive incremental deep learning to improve model accuracy, through the rapid reflection of changes in concept drift, gain learning speed in batch learning. In addition, we proposed a heuristic to quickly find the decision vector that satisfied the optimization of the utility function through multivariate optimization of the utility function, and reduced the overhead in each training iteration. The proposed scheme showed a low error rate through the retraining process and reduced the training cost compared to the periodic retraining method. Also, heterogeneous accelerator (FPGU, GPU) resource scheduling through layer partitioning in the edge cloud showed that the performance of the CNN-LSTM model for AMI data processing could be improved. We implemented an incremental deep learning scheme for processing stream data in Apache Kafka and Spark environments.
Secondly, we proposed the science gateway cloud architecture for advanced application processing in a cloud computing environment. In particular, we proposed a workflow scheduling model based on service level agreement and evaluated large scale scientific applications. A heuristic algorithm was proposed to solve the multi-constrained workflow scheduling problem that considers the heterogeneity of computing resources and tasks and resource availability in distributed computing. For a cost-effective scheduling of the deadline constrained workflows, we proposed a cost-effective resource scheduling scheme, which partition workflow based on critical paths, and assign sub-deadlines based on the relative workload between tasks for heterogeneous computing resources. We defined a service level violation cost model and proposed a cost-effective workflow scheduling scheme between resource allocation and service level violation. We also determined the degree of task division due to processing time violations and accelerated the processing through parallel processing of divided tasks. Through the performance evaluation of the proposed workflow scheduling scheme for a representative scientific application service, it showed that the proposed scheme guarantees deadline and reduces processing costs.
Lastly, we proposed SIFT-CNN based complex event processing for surveillance/monitoring system for urban safety in smart city, and proposed workflow-based task scheduling scheme with FPGA-GPU resource. In order to interpret the semantic information existing in the image frames, we proposed a method for object re-identification, with feature extraction using SIFT-CNN scheme and the distance model between features collected from multiple videos. Also, by defining the resource scheduling problem in the edge-cloud collaboration structure, we showed that the tasks in object re-identification can be transformed into a workflow form and proposed the processing acceleration method for the transformed workflow. For the convolutional layer, we proposed an FPGA-GPU adaptive scheduling scheme based on the execution time estimation model of layer-specific characteristics of FPGA-GPU resources, for optimizing execution time considering the limited resources in the edge environment. In addition, by applying an adaptive DL pruning policy that increases computational performance by eliminating unnecessary computational parameters of deep learning models in case of processing time violations, a pruning degree determination scheme was integrated with the aforementioned scheduling problem that showed deadlines guarantee while maintaining maximum accuracy. Through the performance evaluation, we experimentally showed the relationship between acceleration and accuracy and show that effectiveness of processing acceleration of the proposed scheduling scheme.
In conclusion, for effective processing of increasing data streams, we proposed deep learning acceleration schemes considering different characteristics from sensor stream data to video stream data, and finally, we showed our proposed schemes were outperform for computing acceleration in edge-cloud environments.
빅 데이터 컴퓨팅은 증가하는 데이터의 생산, 저장, 분석을 통해, 데이터에 내제 된 정보를 전통적인 산업 프로세스에 실시간으로 적용함으로써 데이터 기반의 산업들에게 저비용, 저 위험의 의사결정을 가능하게 하는 기술이다. 네트워크 인프라와 스마트 센서 및 다양한 관측 기술과 딥러닝의 비선형 변환의 고차원 추상화 기반 결정 모델을 토대로 다양한 가치 창출 서비스가 가능하게 되었다. 본 논문에서는 차세대 에너지 시스템에서 중요한 에너지 관련 데이터인 AMI 스트림 데이터를 처리하여 시계열 데이터가 가지는 변동성을 고려하여 정교한 에너지 수요 예측을 위한 딥러닝 기법을 엣지-클라우드에서 가속 처리하는 기법을 연구한다. 또한 미래 도시 환경에서 지능형 관제 시스템에서는 도시 환경 시스템과 차량으로부터 수집/생성되는 비디오 스트림을 분석 처리할 때, 영상 객체의 공간적 특성 벡터와 공간 역 투사를 통해 다중의 관측 소스로부터 객체가 특정 시간과 공간에서 표현되는 모형을 기반으로, 딥러닝 기반 주정차 위반 탐지와 같은 새로운 응용 서비스가 연구되고 있다. 하지만 다중의 빅 데이터 스트림을 수집하여 데이터 저장과 처리에 대한 시간에 따른 데이터 분포 변화, 다중 클래스 데이터의 상이한 특성, 시계열 데이터의 크기 적 제약 특성이 보고 되고 있다. 이에 따라 학습/추론 성능에 근거한 적합 데이터 처리 모형 선정, 계산 작업량에 대응하는 서비스 및 자원 스케줄링의 어려움과 같은 문제점을 해결하기 위한 많은 연구가 이루어졌다.
본 논문에서는 효율적인 빅 데이터 스트림 처리를 위한 점진적 학습법을 적용하는 엣지 클라우드 가속화 시스템의 구조를 제시하고, 엣지 컴퓨팅 환경에서 데이터 처리, 추론 가속을 위한 새로운 작업 스케줄링 기법을 제안하고 평가하였다. 또한 딥러닝 기반의 비디오 스트림을 가속처리 시 학습 모델의 가중 정보를 선택적으로 제거하는 딥러닝 프루닝 정책을 이용하여 엣지 클라우드 환경에서의 처리 가속을 위한 적응적 워크플로우 스케줄링 구조를 제안하였다.
첫째, 엣지 컴퓨팅 기반 스트림 처리 환경에서 AMI 데이터에 대해 점진적 딥러닝 매개변수 갱신 작업 스케줄링과 이종 가속기 (FPGU, GPU) 자원 스케줄링을 통한 딥러닝 학습 가속 기법을 제시하고 통합 시스템 구조를 제안하였다. 부분적 학습 데이터 세트를 매 학습 주기 별로 새로이 갱신하여, 크기 비제약적 데이터 스트림을 선택적 데이터 스트림으로 해석하는 점진적 딥러닝 학습법을 통해 부분적 데이터 세트 학습으로부터 발생하는 예측 성능 감소를 최소화하면서 단기 비정상 확률 과정을 따르는 AMI 데이터를 적시에 반영하기 위한 매개변수 갱신 스케줄링 문제를 해결한다. 데이터의 학습 지연 시간, 발생한 개념 드리프트의 대응을 통하여 모델의 빠른 학습을 유지하고, 배치 학습에서의 학습 속도 이득을 고려하여, 모델 정확도를 높이기 위한 적응적 점진 딥러닝 학습을 위한 유틸리티 함수를 제안하였다. 또한 해당 유틸리티 함수의 다변수 최적화를 통해 유틸리티 함수의 최적을 만족하는 결정 벡터를 빠르게 찾을 수 있는 휴리스틱을 제안하여, 매 학습 과정에서의 오버헤드를 경감하였다. 이러한 추론을 고려한 학습 방식은 재학습 과정을 통해 낮은 에러율을 보였으며, 주기적 학습 방식보다 학습을 위한 계산량과 시간을 단축시키며 학습 비용감소로 이어진다는 것을 보여주었다. 또한 엣지 컴퓨터에서의 이종 가속기를 통한 레이어 분할 방식 기반의 추론 작업 스케줄링을 통하여 AMI 데이터처리를 위한 CNN-LSTM 모델에 대하여 성능 개선이 가능함을 보였다. 실증적 연구 결과로 Apache Kakfa, Spark 환경에서 스트림 데이터 처리를 위한 점진적 딥러닝 학습 프레임워크를 개발하였다.
둘째, 클라우드 컴퓨팅 환경에서의 고성능 응용 처리를 위한 클라우드 워크플로우 제어 및 스케줄링 구조를 제안하였다. 주요 내용으로 서비스 레벨 협약 기반의 워크플로우 스케줄링 모델을 제안하고 대규모 과학 응용에 대해 평가를 수행하였다. 컴퓨팅 자원과 작업의 이종성과 분산 컴퓨팅에서의 자원 가용성을 고려하는 워크플로우 다중 제약 스케줄링 문제를 해결하기 위해 휴리스틱 알고리즘을 제안하였다. 특히, 마감시간이 주어진 워크플로우의 비용 효율적 스케줄링을 위하여, 임계 경로를 기준으로 정교한 워크플로우 분할과 이종의 컴퓨팅 자원에 대해 작업 간 상대적 작업량을 기준으로 하위 마감시간을 배분하는, 비용을 고려한 자원 할당 기법을 제안하였다. 또한 서비스 요구수준 위반 비용 모델을 정의하여 자원 할당과 서비스 요구수준 위반 사이에서의 비용 적응적인 워크플로우 스케줄링 기법을 제안하였고, 실행 시간 위반에 따른 작업 분할 정도를 결정하여 분할작업의 병렬 처리를 통해 처리 시간 가속 결과를 보았다. 특히, 제안한 워크플로우 스케줄링 기법을 대표적인 과학 응용 서비스에 대해 실험 평가를 수행한 결과 해당 기법이 가속을 통해 제약 처리 시간을 만족시키면서 처리 비용을 감소시킴을 보였다.
마지막으로 스마트 시티에서의 도시 안전을 위한 감시, 관제 시스템에서의 SIFT-CNN 기반 복잡 이벤트 처리 시스템 구조를 제시하고, 다중 비디오 스트림과 같은 복잡 데이터 가속 처리를 위한 FPGA-GPU 자원 기반의 워크플로우 기반 작업 스케줄링 기법을 제안하였다. 이미지 내에 존재하는 시맨틱 정보를 해석하기 위해 SIFT-CNN 기법을 통해 특징을 추출하고 다중 비디오로부터 수집된 특징들 간의 거리 모델을 통해 객체 재인식을 위한 기법을 제안하였다. 또한 엣지-클라우드 협업 구조에서의 자원 스케줄링 문제를 정의하여, 객체 재인식 작업이 워크플로우의 형태로 변환할 수 있음을 보이고 변환된 워크플로우에 대해 가속처리 기법을 제안하였다. 컨볼루션 레이어에 대해 FPGA-GPU 자원에 따른 레이어 별 특성을 실행시간 추정 모델을 기반으로, 엣지 환경에서의 제약된 자원을 고려하여 실행 시간 최적화를 위한 FPGA-GPU 적응적 스케줄링 기법을 제안하였다. 또한 실행 시간 위반 시 딥러닝 모델의 불필요한 계산 파라미터를 제거함을 통해 계산 성능을 높이는 적응적 딥러닝 프루닝 정책을 적용함에 따라 정확도를 최대한으로 유지하면서 마감시간을 보장하는 프루닝 결정 기법을 스케줄링 문제와 통합하여, 가속과 정확도 사이의 관계를 실험적으로 평가하고 비용 효과적인 처리 성능 가속이 가능함을 보였다.
결론적으로, 데이터 스트림의 효과적인 처리를 위해 센서 스트림 데이터에서부터, 비디오 스트림 데이터까지 상이한 특성을 고려하여 딥러닝 가속화 기법들을 제안하였고, 엣지 클라우드 컴퓨팅 환경에서 제안한 기법들의 이론을 검증하고 실험을 통해서 우수성을 보였다.
