To apply the latest computer vision techniques that require a large computational cost in real industrial applications, knowledge distillation methods (KDs) are essential. Existing logit-based KDs apply the constant temperature scaling to all samples in dataset, limiting the utilization of knowledge inherent in each sample individually. In our approach, we classify the dataset into two categories (i.e., low energy and high energy samples) based on their energy score. Through experiments, we have confirmed that low energy samples exhibit high confidence scores, indicating certain predictions, while high energy samples yield low confidence scores, meaning uncertain predictions. To distill optimal knowledge by adjusting non-target class predictions, we apply a higher temperature to low energy samples to create smoother distributions and a lower temperature to high energy samples to achieve sharper distributions. When compared to previous logit-based and feature-based methods, our energy-based KD (Energy KD) achieves better performance on various datasets. Especially, Energy KD shows significant improvements on CIFAR$-$100$-$LT and ImageNet datasets, which contain many challenging samples. Furthermore, we propose high energy-based data augmentation (HE$-$DA) for further improving the performance. We demonstrate that meaningful performance improvement could be achieved by augmenting only $20\%\sim50\%$ of dataset, suggesting that it can be employed on resource-limited devices.
계산 비용이 많이 드는 최신 컴퓨터 비전 기술을 실제 산업에 적용하려면 지식 증류법(Knowledge Distillation)이 필수적입니다. 기존의 Logit 기반 지식 증류법은 데이터셋의 모든 샘플에 일정한 온도 스케일링을 적용하기 때문에 각 이미지 샘플에 내재된 지식을 개별적으로 활용하는 데 한계가 있습니다. 본 논문에서는 각 샘플의 에너지 점수에 따라 전체 데이터셋을 저에너지 샘플과 고에너지 샘플의 두 가지 범주로 분류하여 이를 극복합니다. 실험을 통해 에너지가 낮은 샘플은 신뢰도가 높아 확실한 예측을 나타내는 반면, 에너지가 높은 샘플은 신뢰도가 낮아 불확실한 예측을 의미한다는 사실을 확인할 수 있었습니다. Non-target 클래스 예측을 조정하여 최적의 지식을 추출하기 위해 에너지가 낮은 샘플에는 더 높은 온도를 적용하여 기존보다 부드러운 분포를 만들고, 에너지가 높은 샘플에는 더 낮은 온도를 적용하여 더 선명한 분포를 얻습니다. 이는 기존의 로짓 기반 및 특징 기반 방식과 비교했을 때, 우리의 방법인 Energy KD가 다양한 데이터셋에서 더 나은 성능을 만들도록 합니다. 특히 까다로운 샘플이 다수 포함된 CIFAR$-$100$-$LT와 ImageNet 데이터셋에서 Energy KD는 더욱 상당한 성능 향상을 보여줍니다. 추가적으로, 본 논문에서는 고에너지 샘플에만 데이터 증강기법을 적용하는 High Energy Data Augmentation(HE$-$DA)을 제안하여 성능을 더욱 향상시킵니다. 실험결과는 데이터셋의 $20\%\sim50\%$만 증강해도 의미 있는 성능 향상을 달성할 수 있음을 보여줌으로써 자원이 제한된 장치에서 이 방법이 강력한 도구가 될 것임을 입증합니다.
