Training convolutional neural network on device has become essential where it allows applications to consider user’s individual environment. Meanwhile, weight update operation from the training process is the primary factor of high energy consumption due to its substantial memory accesses. We propose a dedicated weight update architecture to minimize the data access with two key features: (1) a specialized local buffer for the DRAM access deduction, (2) a novel dataflow and its suitable processing element array structure for weight gradient computation to optimize the energy consumed by internal memories. Our scheme achieves 14.3%-30.2% total energy reduction by drastically eliminating the memory accesses.
어플리케이션을 사용할 때 사용자의 개인 환경을 고려할 수 있다는 점에서 디바이스 내에서 직접 컨볼루셔널 신경망 학습을 진행하는 작업이 주목을 받고 있다. 한편, 학습 과정 중에서 웨이트 업데이트 연산은 상당한 메모리 접근 횟수로 인해 높은 에너지 소비의 주된 요인이 된다. 이 논문에서는 다음 과 같은 두 가지 주요 기능을 통해 데이터 접근을 최소화하는 웨이트 업데이트 전용 아키텍처를 제안한다: (1) DRAM 접근을 줄이기 위한 특수 로컬 버퍼, (2) 내부 메모리에 의해 소비되는 에너지를 최적화하기 위한 새로운 데이터 흐름 및 적절한 프로세싱 요소 배열 구조. 제시한 기능을 이용하여 메모리 접근 횟수를 획기적으로 줄임으로써 전체 에너지를 14.3%-30.2% 절감한다.
