As the size and computational amount of deep neural networks continue to be larger, demand for an effective compression technique is increasing. Various approaches are being attempted to compress and accelerate the network. Among them, the network pruning method is gaining attention a lot because of the advantage that it reaches the optimal point effectively by using the pre-trained weights and the advantage that it achieves a high compression rate with the simple approach. In this study, we propose several network compression methods based on network pruning. First, we propose LRF, a filter pruning method that observes the linear relationship between filter values of pre-trained neural networks and compensates for the differences that occur during pruning by modifying the value of remaining weights. Second, by utilizing the knowledge distillation, we propose a new generalized compression framework IMR that results in high performance even when we remove the filters randomly without careful selection during pruning. Third, we propose a layer pruning method LASS that has an advantage in making the actual speed of various networks faster, to further increase the practicality of the pruning technique.
The filter pruning used in LRF is an approach that is effective when compressing a network with a large amount of computation. In addition, IMR is a method that can be exploited with any pruning method and improves their performance. In other words, when IMR and LRF are combined together, the computation time can be successfully reduced with high performance in the case of compressing a large network. On the other hand, the layer pruning method LASS is effective in networks of all sizes, and its value is particularly noticeable when compressing a network of a small size. Since IMR can be also adopted with LASS, if both methods are applied together, the result of layer pruning for a small network is also significantly improved. From these proposed approaches in this dissertation, we contribute to the widespread usage of deep neural networks by enhancing their actual speed in various environments.
심층 신경망의 크기와 연산량이 계속 늘어남에 따라 효과적인 압축 기법에 대한 요구가 증가되고 있다. 이를 위해 여러 다양한 접근 방법이 시도되고 있는데, 그 중 프루닝 기법은 기 학습된 신경망을 활용함으로써 보다 효과적으로 최적의 위치에 도달할 수 있다는 장점과 간단한 방법으로도 높은 압축률에 이를 수 있다는 점으로 많은 주목을 받고 있다. 본 연구에서는 프루닝 기법을 기반으로 하여 네트워크를 효율적으로 압축 시킬 수 있는 여러 기법을 제안한다. 첫째로, 기 학습된 신경망의 필터 값 간의 선형 관계성을 관찰하고, 필터를 제거할 때 발생할 수 있는 차이도 보상해 줄 수 있는 필터 프루닝 방법인 LRF를 제안한다. 둘째로, 지식 증류 기법을 적극적으로 활용하여, 프루닝할 때 필터를 신중하게 선택하지 않고 임의로 선택하여도 높은 성능을 기록할 수 있는 새로운 간단한 압축 체계인 IMR도 제안한다. 셋째로, 다양한 네트워크의 실제 속도를 보다 빠르게 만드는 데에 큰 장점이 있는 레이어 프루닝 기법인 LASS를 제안하여 프루닝 기법의 범용성을 더욱 증가 시킨다.
LRF에서 사용하는 필터 프루닝 기법은 상대적으로 연산량이 많은 네트워크를 압축할 때 큰 효과를 볼 수 있는 기법이다. 또한, IMR은 어떠한 압축 기법과도 함께 사용될 수 있으면서도 해당 기법의 성능을 향상 시켜 내는 기법이다. 즉, IMR과 LRF를 같이 사용하면 큰 네트워크를 압축해야 하는 경우에 연산 시간을 상당히 감소 시킬 수 있다. 반면에 LASS에서 사용하는 레이어 프루닝 기법은 모든 크기의 네트워크에서 효과를 볼 수 있는 기법으로, 특히 작은 크기의 네트워크를 더 압축해야 할 때 효과가 두드러지게 나타난다. IMR은 마찬가지로 LASS와도 함께 사용될 수 있으므로, 두 방법이 함께 적용된다면, 작은 네트워크를 압축하는 레이어 프루닝의 결과 또한 상당히 개선된다. 이러한 제안 기법들을 통해 우리는 다양한 종류의 네트워크의 실제 속도를 향상 시킴으로써 인공 신경망이 보다 널리 활용되는 것에 기여한다.
