Pre-trained language models have achieved state-of-the-art performance on text classification. However, it is under-explored that the fine-tuned text classifiers work for out-of-distribution (OOD) samples (drawn far from training distribution) or whether they are generalizable to domain shift. To address the questions, we find that the fine-tuned text classifiers still suffer from the keyword bias: overly relying on a limited number of keywords to make predictions. In particular, we empirically show that keyword bias makes models over-confident for an OOD sample containing keywords and causes a significant accuracy drop under domain shift. Inspired by this finding, we propose a simple yet effective fine-tuning method, named masked keyword regularization (MASKER), that facilitates the prediction based on the contextual information. Specifically, MASKER forces the model to predict the keywords from the rest of the words, while regularizing the model to produce low confident predictions for the masked text simultaneously. For further improvement, we also propose keyword selection schemes that are specific to our training method. We demonstrate that MASKER, applied to various pre-trained language models (e.g., BERT, RoBERTa, and ALBERT) improves OOD detection and cross-domain generalization, without degradation of classification accuracy.
본 논문에서는 사전 학습된 언어 모델의 미세 조정 과정에서 발생하는 키워드 편향 현상 관측과, 이를 해결하기 위한 정규화 방법을 제시하고 있다. 좋은 성능을 나타내고 있는 최근의 텍스트 분류기들은 입력 값을 분류할 때 몇몇 키워드들에 의존하는 경향을 보인다. 이는 분포 밖의 데이터에 대해서 높은 컨피던스를 나타나게 하고, 같은 테스크를 가지고 있는 다른 도메인의 데이터에 대해서 일반화가 잘 되지 않는 문제를 일으킨다. 본 논문은 미세 조정 과정에서 적용될 수 있는 새로운 정규화 방법을 제안하고, 이 방법이 분포 밖 데이터 탐지 및 도메인 일반화에 도움이 된다는 것을 보여준다.
