The deep neural network (DNN) has shown impressive performance in various applications such as computer vision, and natural language processing. However, such a high performance of DNN comes at a high computational cost. For calculating DNN, a large size of weight and feature map should be stored in memory, and multiplied by each other after being loaded from memory. Recently, the portion of memory access for the total time and total power consumption has been increased in the DNN accelerators, due to the stagnant improvement of memory, which is known as the "memory wall" problem. Especially in the case of deep reinforcement learning, memory optimization is essential because it has mainly utilized multiple numbers of fully-connected layers simultaneously. In this paper, we propose a deep reinforcement learning accelerator that optimizes memory bandwidth and memory power consumption. The proposed accelerator optimizes memory bandwidth by dual-mode weight compression and optimizes memory power consumption with floating-point in-memory computing architecture.
최근 심층 신경망의 비약적인 발전은 컴퓨터 비전, 음성 인식 등 많은 분야에서 놀라운 성능을 보여주었지만, 이들의 연산을 위해서는 많은 계산 비용이 필요하다. 심층신경망 연산을 위해서는 큰 크기의 가중치와 특징맵을 메모리에 저장한 뒤 이를 불러와서 행렬곱 연산을 수행해야한다. 그러나 ``메모리 장벽''이라고 불리는 메모리의 더딘 속도 및 전력 소모 개선로 인해, 심층신경망 가속기에서 메모리 접근이 차지하는 시간 및 전력 소모의 비중이 더욱 커지고 있다. 특히 심층 강화학습의 경우 주로 완전 연결 심층신경망으로 구성된 여러 신경망들을 동시에 사용함에 따라, 메모리 최적화가 필수적이다. 본 논문에서는 메모리 대역폭과 메모리 전력 소모를 최적화한 모바일용 심층 강화학습 가속기 디자인을 제안한다. 제안된 심층 강화학습 가속기는 이중방식 가중치 압축 방식으로 가중치를 위한 메모리 접근을 최적화하고, 부동소수점 연산을 지원하는 인메모리 컴퓨팅 구조를 통해 메모리 전력 소모를 최적화 하였다.
