Quantized Convolutional Neural Networks (QCNNs) have been proposed to reduce the memory size that is one of the major bottleneck of CNNs. Nevertheless, the massive number of computations still hinders an efficient processing of deep CNNs in modern devices. To reduce to computations while keeping the reduced memory size, this work is motivated by following two observations. First, there are a large number of redundant computations due to the repeated operands caused by quantization. The other is that QCNNs have extremely low or no sparsity in weights. Most of the previous accelerators have only considered the redundant computations caused by sparsity, not the repeated data, resulting in less improvement of performance in QCNNs compared to the high precision CNNs because of the lack of sparsity.
This paper introduces RQ-CNN, a novel accelerator architecture that eliminates all the redundant computations in QCNNs. RQ-CNN identifies the indispensable data referred to both unique and non-zero data in the network. Through the identification process, the redundant computations are processed at one time by a merged multiplier using the indispensable data. While exploiting the redundancy, RQ-CNN maintains the parallelism and reusability of CNNs by fixing the redundancy scope that is a window for searching indispensable data without messing the data. On the state-of-the-art QCNNs, RQ-CNN improves the performance and energy by a factor of $4\times$ and $2.19\times$, respectively.
콘볼루셔널 신경망의 주요 문제점 중 하나인 큰 메모리 사이즈를 줄이기 위해 양자화된 콘볼루셔널 신경망이 제안되고 있다. 그럼에도 불구하고, 많은 양의 연산 수는 여전히 콘볼루셔널 신경망의 효율적인 처리를 어렵게 만들고 있다. 줄어든 메모리 사이즈를 유지하면서 연산 수를 줄이기 위해 본 연구는 두 가지 관찰로부터 동기를 얻었다. 첫째, 양자화로 인한 피연산자 반복 때문에 많은 양의 중복 연산이 발생한다. 둘째, 양자화된 콘볼루셔널 신경망에는 피연산자 중 하나인 가중치의 희박함이 거의 없거나 존재하지 않는다. 이전에 제시되어 왔던 양자화되지 않은 콘볼루셔널 신경망을 효율적으로 구동하기 위한 대부분의 하드웨어 가속기는 반복된 연산에 의한 불필요 연산을 고려하지 않고, 오직 가중치의 희박함을 활용하여 불필요한 연산 수를 줄이는데 주력해 왔다. 이는 기존 하드웨어가 희박함의 결핍 때문에 양자화된 콘볼루셔널 신경망에서는 양자화되지 않은 신경망에서의 성능 개선만큼을 보여주지 못한다는 것을 의미한다.
본 연구는 양자화된 콘볼루셔널 신경망에서 모든 불필요한 연산을 제거하는 새로운 가속기 아키텍처를 제시한다. 제시된 아키텍처에서는 고유한 데이터와 0이 아닌 데이터를 모두 식별하는 과정을 통해, 불필요한 연산을 제거함과 동시에 콘볼루셔널 신경망의 작동에 꼭 필요한 연산을 단 한 번만 처리함으로써 하드웨어의 연산 성능을 대폭 향상시킨다. 또한 본 연구에서는 중복 식별 범위를 제시함으로써 기존 콘볼루셔널 신경망의 특징인 병렬성과 재활용성을 훼손시키지 않도록 데이터를 뒤섞지 않고 식별 과정을 진행한다. 이를 이용해 불필요한 연산을 제거한 결과, 제시된 아키텍처는 기존 가중치의 희박함만을 제거한 아키텍처에 비해 최신의 양자화된 콘볼루셔널 신경망에서 처리 능력을 4배, 에너지를 2.19배 개선한다.
