Deep Reinforcement Learning (DRL) plays a critical role in controlling and manipulating futureintelligent machines like robots and drones. However, DRL repeats inference and training that are computationallyexpensive on resource-constraint mobile/embedded platforms. Even worse, DRL producesa severe hardware underutilization problem due to its unique execution pattern.This paper presents CoRe, an algorithm-architecture co-designed system that simultaneously achievesspeedup and energy efficiency of the DRL algorithm while maintaining its accuracy. To overcome theinefficiency of DRL, we propose Train Early Start, a new execution pattern for building the efficienton-policy DRL algorithm. Train Early Start parallelizes the inference and training execution, hidingthe serialized performance bottleneck. To maximize the benefit of Train Early Start, we design CoRearchitecture, a multi-core NPU system that exploits the task-level parallelism of Train Early Start. As a result, CoRe achieves on average 2.81× speedup and 6.27× energy efficiency over the state-of-the-artmobile SoC.
심층 강화 학습은 미래에 중요한 역할을 담당할 로봇, 드론과 같은 기술 장비들에 필수적인 알고리즘으로 주목받고 있다. 하지만 심층 강화 학습 알고리즘은 자원이 제한된 모바일/내장형 기기들에서 연산량이상당한 추론과 학습을 반복해야 한다는 문제를 가지고 있다. 또한, 심층 강화 학습은 특수한 연산 방식때문에 심각한 하드웨어 비효율성을 낳는다.본 학위 논문은 심층 강화 학습의 가속과 에너지 효율 향상을 위한 알고리즘 및 하드웨어 공동 최적화방안을 제안한다. 심층 강화 학습에 내제된 비효율성을 제거하기 위해서 본 논문에서는 추론 과정과 학습과정을 동시에 진행할 수 있도록 하는 새로운 알고리즘 연산 방식을 선보인다. 이 알고리즘 연산 방식은추론 과정과 학습 과정을 병렬화함으로써 직렬화된 연산 병목 현상을 제거한다. 이러한 연산 방식이 주는효과를 최대화하기 위해서, 본 논문은 두 개의 서로 다른 심층 신경망 가속기로 이루어진 아키텍처를 설계하였다. 최종적으로, 이 아키텍처는 최신 모바일 SoC 대비 평균 2.81배 속도 향상과 6.27배 에너지 효율향상을 달성하였다.
