In this thesis, we address methods for language model adaptation which handles the case where the pre-trained language model is transferred to the specific domain. First, we introduce the Neural Mask Generator (NMG) which generates the adaptive word maskings for language model adaptation with further pre-training based on the Masked Language Model. We empirically show that the NMG shows better adaptation performance on Natural Language Understanding (NLU) tasks across various domains compared to rule-based baselines. Second, we propose the framework that integrates the domain knowledge graph in the fine-tuning stage of the language model adaptation. We introduce the novel layer named knowledge-guided attention for integrating the knowledge into the language model. We experimentally show that the use of our framework achieves comparable or better performance on NLU tasks across various domains compared to the existing knowledge-based method and further pre-training in the language model adaptation scenario.
본 학위논문에서는 사전 학습된 언어 모델이 특수 도메인에 적용되어야 하는 전이 학습 상황에서 효율적인 언어 모델 적응에 대한 방법론들을 다루었다. 첫째로, 사전 학습된 언어 모델이 자기 지도 학습 방법인 마스크 언어 모델을 통해 추가 학습되는 상황에서 효과적인 학습을 위한 단어만을 마스크 하도록 학습되는 신경망 기반 마스크 생성자를 제시하였다. 또한, 제안한 신경망 기반 마스크 생성자의 사용이 기존의 규칙 기반 마스크보다 언어 모델의 적응 성능을 높이는 것을 다양한 도메인의 자연어 이해 태스크들에 대하여 실험을 통해 보였다. 둘째로, 사전 학습된 언어 모델이 특수 도메인의 태스크에 미세 조정되는 과정에서 도메인 지식 그래프를 반영하여 지식 정보를 바탕으로 해당 도메인에서 태스크 성능을 향상하는 방법론을 제시하였다. 이를 위해 지식 그래프에서의 지식을 언어 모델에 통합할 수 있는 지식 기반 어텐션 방법을 도입했다. 나아가 다양한 도메인의 자연어 이해 태스크에 대한 실험을 통해 도메인 지식 그래프의 사용이 언어 모델 적응에 있어 자기 지도 학습을 통한 추가 학습보다 효율적이며 더 좋은 성능을 보이는 것을 보였다.