The need for reduction of computation resources consumed by deep learning applications has motivated researches to introduce several techniques that modify pre-trained DNNs. Pruning is one of said techniques, and is particularly suitable for modifying model which will be executed on GPUs and common DL frameworks. Since the introduction of pruning, a grate number of pruning approaches have been developed, each better than the previous one at reducing the inference computations cost while loosing smaller percentages of the original model’s accuracy. However, not much has been said about the degree to which layers of a DNN should be pruned, a particularly tricky task since it has been proven that different layers present a distinct sensitivity to pruning. The aim of this work is to study, experiment with and improve the means by which a proper pruning degree can be determined. To this end, we introduce a mathematical model for pruning sensitivity, as well as a schema for generating pruning degree assignations specific to each f the model’s layers based on their pruning sensitivity characteristic. Subsequent to this, we explore the usefulness of our proposed schema on a variety of models and datasets, providing thus a holistic view of the potential benefits of pruning. We performed a side-by-side comparison between models pruned according to our schema and models pruned according to literature-based pruning degree assignation. In terms of performance and accuracy, our approach allowed us to prune models which have less than 1% accuracy drop in comparison with those pruned according to the literature, while achieving from 17% to 22% more compute cost reduction. Additionally, we pruned a variety of models and achieved more than 30% compute cost reduction without loosing much more than 2.3% accuracy in the majority of cases. Such benefits were obtained thanks to the mathematical base used for modeling the pruning sensitivity of DNN layers. Said model allowed us to reduce considerably extra weights from robust layers while preserving more weights on the sensitive ones, thus achieving a good compromise between inference performance and accuracy.
심층 학습 응용 프로그램에서 소비되는 계산 자원을 줄이기위한 필요성 때문에 사전 훈련 된 DNN을 수정하는 몇 가지 기술을 도입하기위한 연구가 필요합니다. 가지 치기 (pruning)는 상기 기술 중 하나이며 GPU 및 공통 DL 프레임 워크에서 실행될 모델을 수정하는 데 특히 적합합니다. 가지 치기 (pruning)가 도입 된 이후, 이전 모델의 정확도보다 작은 백분율을 잃어 버리는 동안 추론 계산 비용을 줄이는데 이전의 것보다 더 나은 각각의 가지 치기 방법이 개발되었습니다. 그러나 DNN 계층을 제거해야하는 정도에 대해서는별로 알려지지 않았으므로 다른 계층이 가지 치기에 대해 명확한 감도를 제공한다는 것이 입증되어 특히 까다로운 작업입니다. 이 작업의 목적은 적절한 가지 치기 정도를 결정할 수있는 방법을 연구하고 실험하며 개선하는 것입니다. 이를 위해 프 루닝 감도에 대한 수학적 모델과 프 루닝 감도 특성을 기반으로 모델의 각 레이어에 특정한 프 루닝도 지정을 생성하는 스키마를 소개합니다. 이 후, 우리는 다양한 모델과 데이터 세트에서 제안 된 스키마의 유용성을 조사하여 가지 치기의 잠재적 이점에 대한 전체 론적 견해를 제공합니다. 우리는 스키마에 따라 축약 된 모델과 문헌에 근거한 축약도 지정에 따라 축약 된 모델을 나란히 비교했습니다. 성능 및 정확도면에서 우리의 접근 방식은 문학에 따라 정확도가 1 % 미만인 모델을 잘라내어 17 %에서 22 % 더 많은 컴퓨팅 비용 절감을 달성 할 수있었습니다. 또한 다양한 모델을 프 루닝하여 대부분의 경우 2.3 % 이상의 정확성을 잃지 않으면 서 30 % 이상의 컴퓨팅 비용 절감을 달성했습니다. 이러한 이점은 DNN 층의 가지 치기 감도 모델링에 사용 된 수학적 기반 덕분에 얻어졌습니다. 이 모형은 우리가 상당한 여분의 무게를민감한 레이어에 더 많은 가중치를 유지하면서 견고한 레이어를 구현하므로 추론 성능과 정확성간에 좋은 절충안을 얻을 수 있습니다.
