While the computational cost of convolutional neural networks depends on their network structure, the desirable computational cost to inference for each sample can be differ. In this paper, we addressed confidence-based early prediction for network inference acceleration. In confidence-based early prediction, a model tries predicting earlier and accept it as prediction result if it is confident enough. We proposed EPE-Module, an early prediction extension for CNN models with general structure. To improve the trade-off between accuracy and computational cost of early prediction, We further introduced the concept of selective classification and suggested new loss function $Softsmoothing$, for EPE-Net optimization in the sense of selective classification. Our examined our EPE-Net for different backbone architectures: ResNet10, MobileNet-V2, and EfficientNet-b0.
합성곱 신경망 모델의 연산량은 모델의 구조에 의해 결정되지만, 각각의 입력에 대해 추론하기 위한 바람직한 연산량은 입력마다 다를 수 있다. 본 논문은 네트워크의 최종 예측보다 일찍 예측을 시도하고, 신뢰도가 높다면 예측 결과로 사용하여 이후의 연산을 수행하지 않는 방법을 통해 추론을 가속하는 신뢰도 기반 조기 예측 방법에 대해 다루고 있다. 본 논문은 일반적인 CNN 모델에 붙여 조기 예측이 가능하도록 확장하는 EPE-Module에 대해 제안하였으며, 선택적 분류의 개념을 도입하여 조기 예측 방법을 설명하였다. 이를 통해 EPE-Module을 효과적으로 최적화하기 위하여 선택적 분류에서의 손실을 근사할 수 있는 $SoftSmoothing$ 손실함수에 대해 제안하였으며 제안된 EPE-Module과 $SoftSmoothing$ 손실함수를 이용해 기존의 방법론에 비해 네트워크의 추론을 효과적으로 가속할 수 있음을 ResNet10을 비롯하여 MobileNet-v2, EfficientNet-b0 등의 경량화 네트워크에서 검증하였다.
