With the development of computing technology and the emergence of new knowledge information processing system, the era of artificial intelligence is rapidly approaching with technological advances in medical image processing, web service, voice and video as well as natural language processing. Therefore, it is increasingly common to develop intelligent application services using the deep learning frameworks such as Caffe or TensorFlow. Users execute applications including the architecture of deep neural network, input dataset, and execution configuration by using the model description of Caffe or TensorFlow. In general, for the deep learning frameworks the model descriptions of applications are currently an incompatible format. In addition, because optimization methods including task scheduling and memory allocation and GPU-accelerated libraries such as cuDNN and cuBLAS used by the framework are different, the unified execution of deep learning framework is required. There may be also many differences in cost of computing resources of the deep learning task according to computing resource configuration. Generally, depending on and computing environment such as the network and the type of processing unit such as CPU or GPU that applications are executed, the execution time and power consumption are different. Conventional frameworks, however, do not support an optimal resource scheduling algorithm considering the execution time and power consumption of user-defined applications. Therefore, users must manually select the framework and resource configuration for executing applications, which may lead to increase in unpredictable cost due to various overheads and the computing process.
In this thesis, to solve the problems in conventional execution methods of deep learning framework, we propose a unified deep learning structure and interface that can implement processing of deep learning applications in a unified way, even though model description formats between frameworks are different. Through the proposed interface, user-defined applications can be converted into a format that can be executed by the existing deep learning framework. In addition, the unified deep learning interface contains a novel method to statistically process GPU power consumption pattern according to deep learning model and service of quality (QoS), which automatically allocates computing resources with optimal conditions considering the execution time and GPU power consumption of user-defined applications. Finally, the proposed unified deep learning interface is evaluated experimentally by comparing the processing performance with the existing Caffe and TensorFlow in various computing environments. As a result, it shows generally more efficient in terms of costs required to process deep learning and indicate that it is possible to manage the cost of application processing.
컴퓨팅 기술의 발전과 새로운 지식정보처리 시스템의 등장으로 의료영상처리, 웹서비스, 음성, 영상은 물론 자연어 처리 등의 분야에서 획기적인 기술 진보로 인공지능 시대가 성큼 다가오고 있다. 이로 인해, Caffe나 TensorFlow 같은 딥러닝 프레임워크를 사용하여 지능형 응용서비스를 개발하는 것이 점차 보편화되고 있다. 사용자는 응용을 구성하는 딥뉴럴 네트워크의 구조, 입력 데이터셋, 학습 환경을 Caffe 나 TensorFlow의 모델 디스크립션을 생성하여 실행한다. 일반적으로 딥러닝 프레임워크들의 경우, 딥러닝 모델 디스크립션은 현재 상호 호환될 수 없는 형태를 보이고 있다. 또한, 내부적으로 정의된 cuDNN, cuBLAS와 같은 GPU 가속화 라이브러리와 태스크 스케쥴링, 메모리 할당과 같이 내부적으로 정의한 최적화 기법들이 다르기 때문에 일원화된 딥러닝 실행 프레임워크가 요구된다. 또한 각 프레임워크에 따른 딥러닝 태스크의 실행 시간과 할당되는 컴퓨팅 자원에 따라 처리 비용에 많은 차이가 생길 수 있다. 일반적으로 응용을 실행하는 처리 장치의 종류와 네트워크 환경 등 컴퓨팅 자원의 환경에 따라서 실행이 완료되는 시간과 자원의 전력 소모가 달라진다. 하지만 현재 프레임워크들은 사용자가 개발한 응용을 실행 시간과 전력 소모를 고려하여 자원을 최적 스케쥴링하는 기법을 실현하기 어렵다. 이 때문에 사용자가 응용을 실행하기 위한 프레임워크와 자원 설정을 직접 선택해주어야 하기에 여러가지 오버헤드와 컴퓨팅 처리에 따른 예측 불가능한 비용 증가로 이어질 수 있다.
본 논문에서는, 딥러닝 프레임워크에서의 문제점을 해결하기 위하여, 프레임워크간 모델 기술방식이 달라도 일원화 방식으로 딥러닝 처리를 할 수 있는 Unified DL 구조 및 인터페이스를 제안한다. 본 논문에서 제안하는 Unified DL 인터페이스를 통해 사용자가 정의한 응용들은 여러 프레임워크에 실행 될 수 있는 형태로 변환될 수 있다. 또한, Unified DL 인터페이스에는 사용자가 정의한 응용을 실행 시간과 GPU 소비 전력을 고려하여 최적 조건의 컴퓨팅 자원을 자동적으로 할당해주는 방식으로, 딥러닝 모형과 서비스 수준별 GPU 전력 소비 패턴을 통계적으로 처리하는 기법을 새롭게 제안하였다. 최종적으로 제안한 Unified DL 인터페이스을 기존의 Caffe, TensorFlow 프레임워크에 있어서 처리 성능을 여러가지 환경에서 비교하여 실험적으로 평가하였다. 그 결과 제안한 Unified DL 인터페이스가 전반적으로 좋은 처리 성능을 보이고 있으며, 딥러닝 처리에 요구되는 비용측면에서 보다 효율적임을 실험적으로 특성을 평가하고 응용 처리에 따른 비용을 관리할 수 있음을 확인하였다.
