During the fine-tuning phase of transfer learning, the pretrained vocabulary remains unchanged, while model parameters are updated. The vocabulary generated based on the pretrained data is suboptimal for downstream data when domain discrepancy exists. We propose to consider the vocabulary as an optimizable parameter, allowing us to update the vocabulary by expanding it with domain-specific vocabulary based on a tokenization statistic. Furthermore, we preserve the embeddings of the added words from overfitting to downstream data by utilizing knowledge learned from a pretrained language model with a regularization term. Our method achieved consistent performance improvements on diverse domains (i.e., biomedical, computer science, news, and reviews).
전이 학습의 미세 조정 단계에서 사전학습된 어휘는 모델의 매개변수들이 갱신되는 동안 바뀌지 않는다. 사 전학습에 사용된 데이터에 기반하여 생성된 어휘는 미세 조정의 데이터와 도메인 차이가 있는 경우 최적의 어휘가 아니다. 본 논문에서는 어휘를 최적화가 가능한 매개변수로 고려하여 기존 어휘에 토큰화 통계량 기반 의 도메인 특화 어휘를 추가해 갱신하는 방법론을 제안한다. 또한, 본 논문에서는 정규화를 이용해 사전학습된 언어모델의 지식을 활용함으로써 추가된 단어의 임베딩이 다운스트림 데이터에 대한 과적합되지 않도록 방 지하는 방법론을 제안한다. 본 논문에서 제안하는 방법론의 효과성을 분석하기 위해 사전학습과 미세조정 단계에서 도메인 차이가 있는 의료, 컴퓨터 등의 다양한 데이터셋에 방법론을 적용하고 성능 변화를 실험한다.
