Recently, deep learning, realized with deep neural networks (DNNs), has become universal in all-around applications due to its overwhelming performance and universal applicability. It has changed the paradigm of machine learning and brought significant progress in vision, speech, language processing, and many other applications. In 2012, a DNN named AlexNet dramatically reduced the image classification error by 10% for the ImageNet dataset. It has been developed rapidly and now performs human level accuracy in image classification. Due to rapid development, more and more companies are providing services that utilize deep learning. These services are mostly delivered in the form of cloud computing via servers in the data center due to the large computational requirements of the deep learning algorithm. In cloud computing, tasks requested by users are sent to the server through the Internet, and then the results are sent back to the user after the operation is completed on the server. In contrast, edge computing processes the tasks within the edge device itself. These edge computing benefits over cloud computing in terms of latency, data transfer costs, security, stability, and reliability, enabling better services. In particular, for video-based real-time services, these features become more prominent. The goal of this research is to implement intelligence-on-things or smart machines by enabling deep learning through edge computing on mobile platforms such as smartphones, drones, IoT devices, wearable devices, and robots. However, current mobile computing units could not meet the throughput and power requirements to process deep learning in real-time. Therefore, implementing a deep learning ASIC with higher energy efficiency is essential and is presented in this dissertation.
In this dissertation, needs, validity, and characteristics of deep learning ASIC are introduced with key schemes for higher energy efficiency. Key schemes include existing and newly proposed ones and are divided into reduced numerical precision, processing and data flow optimization, utilization of reusability, sparsity exploit, and customized ALU. Under these bases, an energy-efficient deep learning ASIC named DNPU is presented with the real chip implementation. It has the following key features:
1) A reconfigurable heterogeneous architecture to support various DNNS
2) An off-chip access-efficient workload division method to handle large data with a limited on-chip memory
3) On-line self-tuning layer-by-layer dynamic-fixed-point to reduce the bit-width of activations
4) A quantization table-based matrix multiplication to reduce off-chip memory accesses and remove duplicated multiplications.
5) A computational SRAM-based stereo matching processor for RGB-depth 4-ch support
최근 심층 신경망의 높은 성능과 무한한 적용 가능성으로 인해, 연구가 활발히 진행되고 실생활 곳곳에 사용되고 있다. 심층 신경망은 기계 학습의 패러다임을 바꾸었고 시각정보 처리, 음성인식, 자연어 처리 등을 포함한 많은 응용 분야에서 중요한 진보를 가져왔다. 2012년에 AlexNet이라는 심층 신경망은 이미지 분류의 정확도를 기존 알고리즘에 비해 10% 가까이 증가시켰다. 그 후 심층 신경망은 급속하게 발전되어 왔고 현재 이미지 분류에서 인간 수준 이상의 정확성을 보인다. 이와 같은 발전으로 인해, 점점 더 많은 기업들이 심층 신경망을 활용하는 서비스를 제공하고 있다. 대부분의 서비스는 심층 신경망 알고리즘의 방대한 컴퓨팅 요구 사항으로 인해 데이터 센터의 서버를 통해 클라우드 컴퓨팅의 형태로 제공된다. 클라우드 컴퓨팅에서는 사용자가 요청한 작업이 인터넷을 통해 서버로 전송된 다음 서버에서 작업이 완료되면 결과가 사용자에게 다시 전송된다. 대조적으로, 에지 컴퓨팅은 에지 장치 자체 내에서 작업을 처리한다. 이러한 에지 컴퓨팅은 대기 시간, 데이터 전송 비용, 보안, 안정성 및 신뢰성 측면에서 클라우드 컴퓨팅에 비해 이점이 있어 서비스를 개선할 수 있다. 특히, 비디오 기반의 실시간 서비스의 경우 이러한 특징이 더욱 두드러진다. 본 연구의 목적은 스마트 폰, 드론, 사물 인터넷 기기, 웨어러블 기기, 로봇 등의 모바일 플랫폼에서 에지 컴퓨팅을 통해 심층 신경망 연산을 가능하게 함으로써 스마트 머신을 구현하는 것이다. 현재의 모바일 컴퓨팅 유닛은 실시간으로 심층 신경망을 처리하기 위한 처리속도 및 전력 요구 사항을 충족하지 못한다. 따라서 에너지 효율성이 높은 심층 신경망 ASIC를 구현하는 것이 필수적이며, 이를 본 논문에서 제시하고자 한다. 본 논문에서는, 심층 신경망 ASIC의 필요성, 유효성 및 특징이 소개될 것이며, DNPU라고 명명된 에너지 효율적인 심층 신경망 ASIC의 실제 칩 구현 예를 살펴볼 것이다. DNPU는 아래와 같은 주요 특징을 갖고 있다.
1) 다양한 심층 신경망을 효율적으로 지원하도록 구성된 이기종 아키텍처
2) 제한된 온-칩 메모리로 대용량 데이터를 처리하기 위한 외부 메모리 접근 효율적인 워크 로드 분할 방법
3) 실시간으로 적응 가능한 층 단위 동적 고정 소수점
4) 외부 메모리 접근을 줄이고 중복된 연산을 효율적으로 하기 위한 양자화 테이블 기반 곱셈기
5) RGB-depth의 4-채널 지원을 위한 연산 SRAM 기반 스테레오 매칭 프로세서
