This paper presents an approximate signed digit representation (ASD) which quantizes the weights of convolutional neural networks (CNNs) in order to make multiplier-less CNNs without performing any retraining process. Unlike the existing methods that necessitate retraining for weight quantization, the proposed method directly converts full-precision weights of CNN models into low-precision ones, attaining accuracy comparable to that of full-precision models on the Image classification tasks without going through retraining. Therefore, it is effective in saving the retraining time as well as the related computational cost. As the proposed method simplifies the weights to have up to two non-zero digits, multiplication can be realized with only add and shift operations, resulting in a speed-up of inference time and a reduction of energy consumption and hardware complexity. Experiments conducted for famous CNN architectures, such as AlexNet, VGG-16, ResNet-18 and SqueezeNet, show that the proposed method reduces the model size by 73% at the cost of a little increase of error rate, which ranges from 0.09% to 1.5% on ImageNet dataset. Compared to the previous architecture built with multipliers, the proposed multiplier-less convolution architecture reduces the critical-path delay by 52% and mitigates the hardware complexity and power consumption by more than 50%. In addition, we briefly present new floating-point quantization methods, which quantizes all parameters and feature maps of CNN models.
이 논문은 컨볼루션 뉴럴 네트워크(CNNs)에서 approximate signed digit representation(ASD)라는 새로운 파라미터 데이터 형식을 제시하였다. ASD는 파라미터를 재훈련없이 양자화하여 곱셈기 없는 CNN을 구현한다. 기존의 재훈련을 필요로 하는 파라미터 양자화 방법과는 달리, 제안된 방법은 부동 소수점을 가지는 CNN 모델의 파라미터를 재훈련 없이 낮은 정확성을 가지는 형식으로 바로 변환하며, ImageNet에 대하여 이미지 분류를 평가를 한 결과 기존의 데이터 형식과 비슷한 결과를 나타냈다. 그러므로, 이 방법은 재훈련에 필요한 시간과 계산 비용을 절약하는데 효과적이다. 또한, ASD에서는 최대 두개의 0이 아닌 값을 파라미터가 가질 수 있으므로, 곱셈은 덧셈과 시프트를 통해 대체할 수 있으며, 이를 통해 연산 시간의 감소, 에너지 소비량의 감소 그리고 하드웨어의 복잡성을 줄일 수 있게 된다. 4개의 CNN 모델 (AlexNet, VGG-16, ResNet-18, SqueezeNet)을 이용하여 실험을 진행하였으며, 제안된 방법은 이미지 분류 평가에서 최소 0.09%에서 최대 1.5%의 오류율 증가만을 보이며 모델 사이즈를 73%나 감소시킨다. 기존의 곱셈기 있는 구조와 비교를 해보면, 곱셈기 없는 컨볼루션 구조는 연산 시간을 52%만큼 감소시키고, 하드웨어의 복잡성과 에너지 소비를 50%만큼 줄여준다. 또한 부동소수점 표현법을 기반으로 한 모든 데이터 형식 (AFP, SFP)도 간단하게 정의하고 소개를 하였다.
