Network quantization, which aims to reduce the bit-lengths of the network weights and activations, has emerged for their deployments to resource-limited devices. Although recent studies have successfully discretized a full-precision network, they still incur large quantization errors after training, thus giving rise to a significant performance gap between a full-precision network and its quantized counterpart. In this work, we propose a novel quantization method for neural networks, Cluster-Promoting Quantization (CPQ) that finds the optimal quantization grids while naturally encouraging the underlying full-precision weights to gather around those quantization grids cohesively during training. This property of CPQ is thanks to our two main ingredients that enable differentiable quantization: i) the use of the categorical distribution designed by a specific probabilistic parametrization in the forward pass and ii) our proposed multi-class straight-through estimator (STE) in the backward pass. Since our second component, multi-class STE, is intrinsically biased, we additionally propose a new bit-drop technique, DropBits, that revises the standard dropout regularization to randomly drop bits instead of neurons. As a natural extension of DropBits, we further introduce the way of learning heterogeneous quantization levels to find proper bit-length for each layer by imposing an additional regularization on DropBits. We experimentally validate our method on various benchmark datasets and network architectures, and also support a new hypothesis for quantization: learning heterogeneous quantization levels outperforms the case using the same but fixed quantization levels from scratch.
리소스가 제한된 기기들에 네트워크를 디플로이하기 위해 네트워크 웨이트와 엑티베이션의 비트 길이를 줄이는 것을 목표로 하는 네트워크 양자화가 대두되고 있다. 최근 연구들이 네트워크를 성공적으로 이산화했지만, 학습 이후에 양자화 손실이 커지게 되어서, 기존 네트워크와 양자화된 네트워크의 성능 차이가 커지게 된다. 그래서 우리는 학습 과정에서 최적화된 양자화 격자를 찾으면서 기존 웨이트를 그 양자화 격자에 응집력 있게 모이도록 유도하는 군집 촉진하는 양자화를 제안한다. 이러한 특성은 순방향으로는 어떤 확률적 매개변수화에 의해 구성된 다항분포의 사용과 역방향으로는 우리가 제안한 다항 관통하는 추정량의 두 가지 요소 덕분이다. 두 번째 요소인 다항 관통하는 추정량은 내재적으로 편향되어 있기 때문에, 우리는 기존 드랍아웃 정규화를 개선해서 뉴론 대신에 비트를 무작위로 떨구는 새로운 기법인 드랍비트를 추가적으로 제안하다. 드랍비트의 자연스러운 확장으로 우리는 드랍비트에 추가적인 정규화를 부가함으로써 각 층마다 적절한 비트 길이를 배우는 비동형 양자화를 배우는 방법을 소개한다. 우리는 다양한 벤치마크 데이터셋과 네트워크 구조를 토대로 우리 방법을 실험적으로 정당화했으며, 비동형 양자화를 배우는 것이 똑같이 고정시켜서 처음부터 학습한 것보다 더 성능이 좋다는 가설을 실험적으로 지지한다.
