Network compression algorithm has been used to accelerates the processing of deep neural networks by reducing the number of trainable parameters. In SVD-based network compression, the rank of decomposed convolution filter is a key parameter that determines the complexity and accuracy of a neural network. In this paper, we first introduce the combinatorial rank configuration algorithm with SVD-based filter pruning. The proposed approaches choose a rank configuration satisfying the constraint of computational complexity or accuracy in the combinatorial search space, while the previous works iteratively determine the rank for a layer. To implement the feasible combinatorial space, we propose the bounded space generation algorithms to extract the essential rank configurations among the numerous combinations. Also, the novel accuracy metrics are proposed to represent the accuracy and complexity relationship for a given neural network. We use these metrics to quickly evaluate the accuracy of rank configuration. Finally, we propose a single-shot approach to choose a rank configuration in a few seconds. Experiments show that our method provides better compromise between accuracy and computational complexity/memory consumption while performing compression at much higher speed. For VGG-16 our network can reduce the FLOPs by 25% and improve accuracy by 0.7% compared to the baseline, while requiring only 3 minutes on a CPU to search for the right rank configuration. Previously, similar results were achieved in 4 hours with 8 GPUs. The better accuracy and complexity compromise, as well as the extremely fast speed of our method makes it suitable for neural network compression. We expect that our approaches can be widely used for the acceleration of high performance algorithm using many neural networks and the real-time resource management system for the resource-limited applications such as mobile and robotics.
뉴럴 네트워크 압축은 학습된 매개 변수의 양을 조절하여 심층 신경망의 연산을 가속하고 메모리 사용량을 줄이는 기법으로, 일반적으로 신경망을 구성하는 각 계층의 필터 수를 최적화 하는 방식으로 구현된다. 본 논문에서는 전체 신경망의 필터 수 구성을 결정하는 효율적인 방안을 제안하였다. 이전 기법에서 신경망의 계층을 개별적으로 고려하여 필터 수를 결정하였던 것과는 달리, 제안하는 방식은 전체 신경망에 대한 최적의 필터 수 구성을 종합적으로 선택하는 문제로 해석하여 보다 높은 압축률을 달성 할 수 있었다. 이러한 종합적 선택 문제는 매우 복잡한 검색 공간을 야기하게 되고 이는 압축 시간을 비약적으로 증가시키는 원인이 될 수 있다. 본 논문은 정확도 인지 기반의 효율적인 검색 공간을 생성하고, 그 안에서 높은 정확도를 갖는 필터 수들의 조합을 결정하는 방안을 제시하고 그 성능을 살펴보았다. 또한, 신경망의 정확도와 연산 복잡도 관계를 나타내는 새로운 정확도 지표를 제안하였다. 이러한 제안된 지표를 활용하여 충분히 높은 정확도를 유지하면서 주어진 계산 복잡도와 메모리 사용량에 대한 제약 조건을 충족하도록 빠르게 신경망을 압축 할 수 있었다. 실험 결과, 본 방법은 수 초내로 신경망 압축을 수행 할 수 있으며, 기존 방식들과 비교하여 비슷한 정확도에서 더 낮은 연산 복잡도와 메모리 사용량을 달성 할 수 있었다. 나아가 무손실 신경망 압축을 수행하기 위한 방안을 제시하였고 실험을 통해 성능을 검증하였다. VGG-16의 경우 연산 복잡도를 25% 감소하고 정확도는 0.7% 향상시킬 수 있었으며, 기존에 8개의 GPU로 4시간이 소요됐으나 제안하는 방식은 CPU로 연산하여 3분이 소요되었다. 따라서 제안하는 고속 압축 기법은 다양한 신경망으로 구성된 고성능 영상 처리 알고리즘에 적용되어 시간 효율적으로 신경망을 가속하기 위해 사용 될 수 있으며, 알고리즘의 정확도 손실을 고려하여 실시간으로 신경망에 의한 하드웨어 자원을 최적화 해야 하는 모바일 및 로보틱스 분야에 널리 활용 될 것으로 기대한다.
