Decoupling representation learning and classifier learning has been shown to be effective in classification with long-tailed data. There are two main ingredients in constructing a decoupled learning scheme; 1) how to train the feature extractor for representation learning so that it provides generalizable representations and 2) how to re-train the classifier that constructs proper decision boundaries by handling class imbalances in long-tailed data. In this work, we first apply Stochastic Weight Averaging (SWA), an optimization technique for improving the generalization of deep neural networks, to obtain better generalizing feature extractors for long-tailed classification. We then propose a novel classifier re-training algorithm based on stochastic representation obtained from the SWA-Gaussian, a Gaussian perturbed SWA, and a self-distillation strategy that can harness the diverse stochastic representations based on uncertainty estimates to build more robust classifiers. Extensive experiments on several dataset benchmarks show that our proposed method improves upon previous methods both in terms of prediction accuracy and uncertainty estimation.
표현 학습과 분류기 학습을 분리하는 것은 긴 꼬리 데이터 분류에서 효과적인 것으로 나타났다. 분리 학습 체계를 구성하는 데는 두 가지 주요 요소가 있는데, 1) 일반화 가능한 표현을 제공하도록 표현 학습을 위한 특징 추출기를 훈련하는 방법과 2) 긴 꼬리 데이터의 클래스 불균형을 처리하여 적절한 의사 결정 경계를 구성하는 분류기를 재훈련하는 방법이다. 본 연구에서는 먼저 심층 신경망의 일반화를 개선하기 위한 최적화 기술인 확률적 가중치 평균화 (SWA) 를 적용하여 긴 꼬리 분류를 위한 더 나은 일반화 특징 추출기를 얻는다. 그런 다음 확률적 가중치 평균화에 가우시안 변형을 해준 가우시안 확률적 가중치 평균화 (SWAGaussian) 로부터 얻어낸 확률적 표현과 불확실성 추정치를 기반으로 다양한 확률적 표현을 활용하여 보다 강력한 분류기를 구축할 수 있는 자체 증류 전략에 기반한 새로운 분류기 재훈련 알고리듬을 제안한다. 여러
데이터셋 벤치마크들에 대한 광범위한 실험은 우리가 제안한 방법이 예측 정확도와 불확실성 추정 측면에서 이전 방법보다 향상되었음을 보여준다.
