The advance of language models (LMs) significantly boosts state-of-the-art performances in various natural language processing (NLP) tasks, but the number of given labeled datasets for each downstream task is still critical for the performance and stability of fine-tuned LMs. While the recent development of large LMs (LLMs) has mitigated this limitation, LLMs still have their own limitations such as non-factual but seemingly plausible generation or difficulty in integrating up-to-date knowledge. Augmentation, which is artificially expanding or modifying the data to improve the model's robustness and generalization, is known to be effective in exploiting the given data, and this framework of augmentation has been demonstrated to be effective in improving LMs at various levels during the prediction. In this dissertation, we propose new ways to augment LMs to improve their efficiency and reliability in solving target tasks. Specifically, we investigate three different frameworks for augmenting LMs: augmenting (1) input texts, (2) their annotations (i.e., labels), and (3) the rationale for the prediction. Through extensive experiments with the recent state-of-the-art LMs, we demonstrate that the proposed methods of augmenting LMs at various levels significantly improve the accuracy and reliability of LMs' prediction.
언어 모델의 발전으로 다양한 자연어 처리 작업에서 최첨단 성능이 크게 향상되었지만, 각 다운스트림 작업에 대해 주어진 레이블이 지정된 데이터 세트의 수는 여전히 미세 조정된 언어 모델의 성능과 안정성에 매우 중요합니다. 최근 대규모 언어모델의 개발로 이러한 한계가 완화되기는 했지만, 사실과 다르지만 그럴듯하게 생성되거나 최신 지식을 통합하기 어렵다는 등의 한계는 여전히 존재합니다. 모델의 견고성과 일반화를 향상시키기 위해 데이터를 인위적으로 확장하거나 수정하는 증강은 주어진 데이터를 활용하는 데 효과적인 것으로 알려져 있으며, 이러한 증강 프레임워크는 예측 과정에서 다양한 수준에서 언어 모델을 개선하는 데 효과적인 것으로 입증되었습니다. 본 논문에서는 언어 모델을 증강하여 목표 과제를 해결할 때 효율성과 신뢰성을 향상시킬 수 있는 새로운 방법을 제안합니다. 구체적으로, (1) 입력 텍스트, (2) 주석(예: 레이블), (3) 예측의 근거를 보강하는 세 가지 프레임워크에 대해 살펴봅니다. 최신 언어 모델을 사용한 광범위한 실험을 통해, 다양한 수준에서 언어 모델을 증강하는 제안된 방법이 언어 모델의 예측 정확도와 신뢰도를 크게 향상시킨다는 것을 입증했습니다.
