Large Language Models (LMs) are known to encode world knowledge in their parameters as they pretrain on a vast amount of web corpus, which is often utilized for performing knowledge-dependent downstream tasks such as question answering, fact-checking, and open dialogue. In real-world scenarios, the world knowledge stored in the LMs can quickly become outdated as the world changes, but it is non-trivial to avoid catastrophic forgetting and reliably acquire new knowledge while preserving invariant knowledge. To push the community towards better maintenance of ever-changing LMs, we formulate a new continual learning (CL) problem called Continual Knowledge Learning (CKL). We construct a new benchmark and metric to quantify the retention of time-invariant world knowledge, the update of outdated knowledge, and the acquisition of new knowledge. We adopt applicable recent methods from literature to create several strong baselines. Through extensive experiments, we find that CKL exhibits unique challenges that are not addressed in previous CL setups, where parameter expansion is necessary to reliably retain and learn knowledge simultaneously. By highlighting the critical causes of knowledge forgetting, we show that CKL is a challenging and important problem that helps us better understand and train ever-changing LMs.
대형언어모델(Large Language Models)은방대한양의웹말뭉치에대해사전훈련하면서그매개변수안에 세계지식을저장하는걸로알려져있다. 이러한모델은종종지식의존적인문제 (질문답변, 사실검증및 개방형 대화 등)에 활용됩니다. 현실 세계에서는 언어모델에 저장된 세계 지식은 시간이 갈수록 구식이 되지 만 매개변수 안에 저장되어 있는 지식을 새로운 지식으로 업데이트하면서 예전 기억을 망각하지 않는 문제는 쉽지 않은 일이다. 지속적 학습(Continual Learning, CL)에 대한 커뮤니티의 노력을 촉진하기 위해 우리는 지 속적인지식학습(Continual Knowledge Learning, CKL)이라는새로운문제를정의한다. 본학위논문에서는 시간에 불변한 세계 지식의 보존, 오래된 지식의 업데이트, 그리고 새로운 지식의 습득을 양적으로 측정하기 위해 새로운 벤치마크와 메트릭을 구성한다. 본 연구는 관련 최근 연구에서 사용되는 적용 가능한 방법을 채택 하여 강력한 기준 방법론들을 시험한다. 방대한 실험을 통해, CKL이 이전의 CL 설정에서 다루지 않은 독특한 도전 과제를 가지며, 세계 지식을 신뢰성 있게 보존하고 학습하기 위해 파라미터 확장이 필요한 것을 발견한 다. 지식을 잊는 주요 원인을 강조함으로써, CKL이 우리가 변화하는 언어모들을 더 잘 이해하고 훈련하는 데 도움이 되는 도전적이고 중요한 문제임을 보여준다.
