As deep neural networks (DNNs) show remarkable achievements in various fields, the demand for fast and energy-efficient hardware for DNNs is increasing. This demand has developed a domain-specific hardware architecture and various methods for efficient DNN processing. Previous studies improve computing performance and energy efficiency by skipping ineffectual computations and compressing ineffectual data. However, despite the improvements from such effective methods, it is still insufficient to meet the increasing demand.
In this thesis, we propose accelerator architectures that further eliminate redundancy in DNN processing. Specifically, two designs are proposed, each of which covers redundant computation in DNN inference and redundant data in DNN training, respectively. First, the proposed architecture with the first design processes DNNs with redundancy-free computing beyond zero-free computing. Zero-free computing eliminates only ineffectual computations from zero-valued data. Meanwhile, the proposed redundancy-free computing identifies repeated data and the consequent repeated computation, and then performs only single computation while the other redundant computations are all skipped. In redundancy-free computing, repeated sparse (zero-valued) data is regarded as a special case. By eliminating more unnecessary computations, DNN inference is performed faster and more energy-efficient with the proposed design. The proposed architecture with the second design eliminates redundant data that are not critical to training quality. DNN training accelerators need to stash data that are generated in forward propagation in order to use them in backpropagation. As a result, the efficiency of DNN training is limited by the memory capacity and bandwidth for the stashing. The proposed method is based on the observation that even if a large part of the stashed data is not used in the backpropagation, it does not significantly affect training quality. By eliminating the redundant data during training, the proposed architecture improves training performance with reduced memory footprint. As the demand for fast and energy-efficient DNN processing is constantly increasing, the proposed redundancy-free DNN accelerator architectures and methods are expected to help the development and application of artificial intelligence.
본 논문에서는 효율적인 심층 신경망 추론과 학습을 위해 불필요한 연산과 데이터를 제거하는 가속기 구조를 제안한다. 심층 신경망이 여러 분야에서 괄목할 만한 성능을 보여주면서, 심층 신경망을 빠르고 에너지 효율 적으로 처리할 수 있는 가속기에 대한 필요성이 증가하고 있다. 그 결과, 가지치기와 양자화 같은 알고리즘과 함께 도메인 특정 하드웨어 구조에 대한 활발한 연구가 진행되고 있다. 하지만 효율적인 방법들이 제안되어 왔음에도, 빠르고 효율적인 심층 신경망 처리에 대한 수요와 필요성은 나날이 증가하고 있다.
본 논문에서는 두 가지 설계가 제안되며, 각각 불필요한 연산과 데이터를 제거함으로써 효율적인 심층 신경망 처리를 가능하게 한다. 먼저 제안된 구조는 값이 영인 데이터에 대한 연산을 제거하는 최신 방식을 넘어, 반복되는 데이터에 대한 연산을 제거하는 방식으로 심층 신경망을 처리한다. 이전 연구에서 많이 사 용되었던 값이 영인 데이터에 대한 연산을 제거하는 방식은 특정 활성화 함수와 가지치기의 결과로 생성된 값이 영인 데이터를 피연산자로 사용하는 연산을 생략한다. 반면 제안한 불필요 데이터를 제거하는 연산 방식은 반복되는 데이터와 이를 피연산자로 사용하는 연산을 확인하여 단 한번의 연산만 수행하고 나머지 반복되는 연산은 모두 생략한다. 값이 영인 데이터에 대한 연산을 생략하는 최신 방식은 제안된 연산 방식이 다루는 경우 중 하나에 해당하며, 해당 경우에는 한번의 연산도 생략하여 관련한 모든 연산을 생략한다. 두 번째 설계는 심층 신경망 학습 과정에서의 불필요한 데이터를 제거하여 효율적인 심층 신경망 학습을 지원한다. 심층 신경망 학습은 정전파에서 생성되었던 데이터를 역전파에서 재사용 하기 위해 막대한 양 의 데이터를 저장해야 하는데, 그 결과 심층 신경망 학습은 메모리 크기나 대역폭에 의해 성능이 제한되게 된다. 제안한 방법은 정전파에서 사용되는 상당량의 데이터를 역전파에서 사용하지 않아도 학습 성능에 큰 악영향을 끼치지 않는다는 관찰에 기반하여, 이를 활용한 알고리즘과 하드웨어 공동 설계를 진행한다. 더 많은 데이터와 처리량을 수반하여 심층 신경망의 발전이 진행되고 있는 상황에서 제안한 불필요 요소를 제거하는 심층 신경망 가속기 구조는 빠른 처리 속도와 높은 에너지 효율을 제공함으로써 심층 신경망의 발전과 적용에 긍정적인 기여를 할 수 있을 것으로 예상된다.
