Deep Neural Network(DNN) has been widely used to build A.I. in various fields such as computer vision and natural language process and outperformed other classical techniques. However, its massive computation and memory requirement hinder the implementation of DNNs on edge devices that have low computing power and smaller memory. Quantization of DNN is a network compression technique that reduces the precision of data involved only in the inference, or in both the inference and training. The quantized inference has been studied by lots of researchers, but the quantized training has had little focus and nothing has dealt with the utilization of only 4 or fewer-bit for all data objects in the training. Here I propose a novel quantized training algorithm GSNet (Gradient Stabilizer Network), that utilizes only 4 or fewer-bit data using a 4-bit additional object `stabilizer'. The stabilizer securely accumulates 2-bit gradients which are ternarized using a novel gradient scaling method. GSNet was evaluated in the image classification task and showed competitive performance compared with other quantization techniques that utilize even higher bit-precision.
심층 학습은 매우 효과적인 인공지능 구현 방법으로, 컴퓨터 비전, 자연어 처리 등 다양한 영역에서는 다른 고전적인 기법을 크게 상회하는 성능을 보여준다. 그러나 거대한 심층 신경망을 저장 및 연산해야 한다는 점에서 복잡도가 매우 크기 때문에, 성능이 낮은 단말기기에서 활용되기가 어렵다. 이를 타개하기 위해 일반적으로 사용되는 단정밀도(32비트)나 배정밀도(64비트)보다 낮은 정밀도로 심층 학습에 관여하는 데이터 객체를 양자화하는 연구들이 수행되어 왔으나, 주로 추론에 관여하는 객체를 양자화하는 것에 집중되었다. 비교적 최근부터 학습에 관여하는 객체를 양자화하는 연구들이 수행되고 있지만, 주요 객체 모두를 4비트 이하로 양자화하는 학습 알고리즘은 지금까지 발표된 바 없다. 기존 연구 대비 더 낮은 복잡도를 갖는 심층 학습을 가능케하기 위해 본 연구는 4비트 이하의 객체만을 활용하는 학습 알고리즘을 제안한다. 낮은 정밀도의 가중치 갱신을 안정화하기 위해 기울기의 누적값을 저장하는 4비트의 추가적인 변수를 도입하였고, 이를 효과적으로 활용하기 위해 기울기는 2비트로 양자화 하였다. 심층 학습의 대표적인 태스크인 이미지 분류 문제를 이용한 실험을 통해, 본 연구가 제안한 알고리즘이 더 높은 비트를 사용하는 선행 연구들과 비교하여도 충분히 경쟁력 있는 성능을 보여줌을 확인하였다.
