With the proliferation of mobile platforms with constrained energy requirements, mobile asymmetricmulti-cores have emerged to provide both performance for interactive mobile applications with big cores,and energy reduction with small cores. Furthermore, mobile platforms are commonly equipped withheterogeneous computing processors such as GPU, DSP, and other accelerators for better computationof specific algorithms. This dissertation explores three critical aspects of asymmetric mobile systems,asymmetric hardware platform, application behavior, and the impact of scheduling and power manage-ment. This study shows that the current mobile applications are not fully utilizing the asymmetricmulti-cores due to the lack of TLP and low computational requirement for big cores. With the proliferation of applications with machine learning (ML), the importance of edge platformshas been growing to process streaming sensor data locally without resorting to remote servers. However,since an edge platform must perform the processing of multiple machine learning models concurrentlyfor various sensor data, its scheduling problem poses a new challenge to map heterogeneous machinelearning computation to heterogeneous computing processors. Furthermore, processing of each inputmust provide a certain level of bounded response latency, making the scheduling decision critical forthe edge platform. This dissertation proposes a new heterogeneity-aware ML inference scheduler foredge platforms. Based on the regularity of computation in common ML tasks, the scheduler uses thepre-profiled behavior of each ML model, and routes requests to the most appropriate processors. It alsoreduces the energy consumption while satisfying the service-level objective (SLO) requirement for eachrequest. For such SLO supports, the challenge of ML computation on GPUs and DSP is its inflexiblepreemption capability. To avoid the delay caused by a long task, the proposed scheduler decomposes alarge ML task to sub-tasks by its layer in the DNN model. Finally, as more sensors are equipped with edge platforms, the number of requests to be processedis increasing. Due to the limitations of the computing resources on the edge platform, all requests maynot be able to be processed. One of the ways to mitigate this is cloud offloading, which is a technologyto transfer from edge platform to resource-rich cloud platform. This dissertation extends the proposededge schedulers by combining cloud offloading. Proposed edge-cloud scheduler shows better performanceand SLO satisfaction than proposed edge-only schedulers.
배터리 용량 제한이 있는 모바일 플랫폼이 급증하게 되면서, 모바일 CPU는 에너지 효율성이 좋은 리틀코어와 고성능을 위한 빅코어로 구성된 비대칭 멀티코어를 도입하기 시작하였다. 또한 모바일 애플리케이션다양한 방향으로 진화하면서 더 많은 병렬 연산을 요구하게 되었다. 이런 요구사항을 맞추기 위해 GPU,DSP 같은 특별한 연산을 위한 가속기를 추가하게 되어, 모바일 플랫폼의 이종성은 더욱 다양하게 진화하게되었다. 본 학위논문은 우선적으로 비대칭 멀티코어를 탑재한 모바일 CPU 및 그 위에서 동작하는 모바일애플리케이션의 특성을 파악하고자 한다. 비대칭 멀티코어의 아키텍처 특성, 모바일 애플리케이션 특성,스케줄러와 전력관리 기법의 영향의 3가지 측면을 집중적으로 분석한다. 분석 결과에 의하면 현재 실제모바일 애플리케이션들은 낮은 코어 사용률과 쓰레드 레벨 병렬화 때문에 비대칭 멀티코어를 충분히 활용하고 있지는 못한 상황이다. 하지만 최소 1개 이상의 빅 코어를 가지는 것은 성능에 지대한 영향을 미친다는사실을 확인했다. 모바일 플랫폼도 더 많고 다양한 센서를 내장하게 되었고 이 머신러닝 작업을 모바일 플랫폼에서 처리하는 상황이 증가하였다. 다양하고 많은 머신러닝 애플리케이션들이 가속기 이종성(CPU, GPU, DSP)을지닌 모바일 플랫폼에서 효율적으로 스케줄링 하는 것은 중요한 문제이다. 추가적인 스케줄러 문제는 각머신러닝 애플리케이션이 특정 지연시간 내에 완료되어야 하는 요구조건이 있다. 따라서 본 학위논문은 모바일 플랫폼에서 이종성을 인식한 새로운 머신러닝 애플리케이션 추론 스케줄러를 제안한다. 학습이 완료된머신러닝 모델의 레이어들은 고정적인 특성을 가지고 있어 연산량이 비슷한 특성을 가진다. 이 지연시간사전지식을 활용하여 성능 및 에너지를 최적화 할 수 있는 가속기에 배치한다. 또한 제안한 스케줄러는머신러닝 애플리케이션의 서비스-목적 레벨(SLO)을 최대한 만족시키기위해 노력한다. 긴 지연시간을 가진머신러닝 애플리케이션이 GPU와 DSP 가속기에 선점을 하고 있으면, 뒤에 대기하는 짧은 지연시간을 가진머신러닝 애플리케이션들의 서비스-목적 레벨(SLO)를 만족시키는 것이 어려워지는 한계점이 존재한다. 이를 완화하기 위해 추가적으로 제안한 스케줄러는 긴 지연시간을 가진 머신러닝 모델을 분할하여 수행하여,선점 시간을 짧게 하여 전체적인 서비스-레벨 목적(SLO)의 만족도를 높힌다. 마지막으로 모바일 플랫폼에 더 많은 센서들이 장착됨에 따라 처리해야 할 요청의 수가 증가하고 있다.모바일 플랫폼의 이기종 프로세서를 최대한 활용한다 한다라고 컴퓨팅 자원의 한계때문에 모든 요청을 처리할 수 없을 수 있다. 이를 완화할 수 있는 방법 중의 하나가 클라우드 오프로딩이다. 클라우드 오프로딩은모바일 플랫폼에서 처리할 요청을 풍부한 자원을 가진 클라우드에 대신 처리하도록 요청하는 기술이다. 본학위논문은 제안했던 모바일 스케줄러에 클라우드 오프로딩 기술을 접목 시켜 확장을 한다. 제안한 엣지-클라우드 스케줄러는 많은 수의 요청이 들어온 경우에 대해 모바일 플랫폼만 활용한 스케줄러에 비해 성능향상 및 서비스-레벨 목적(SLO)의 만족도를 높힌다.
