We introduce a novel approach that redefines and constructs the input data format for prompt tuning, capitalizing on the training data format used for large language models (LLMs). While prompt tuning has demonstrated itself as a powerful parameter-efficient technique for adapting pre-trained language models to downstream tasks, it still faces challenges in achieving a performance level equivalent to full fine-tuning. Our proposed approach, PT2TT (Prompt Tuning via Pre-training Task Template Transfer), is motivated by the fact that LLMs are pre-trained to perform well on diverse set of natural language tasks using preprocessing templates, which are readily available for open-source LLMs such as T5. Thus, given a downstream task, it would make sense to format the input data in a way that resembles those of a relevant pre-training task. This would provide the LLM with a context that it’s already familiar with. We add soft prompts to the input data and tune them to capture the residual context exclusive to the downstream task. Through experiments on the standard set of benchmark tasks, we demonstrate that our method significantly outperforms vanilla prompt tuning, and performs on par with state-of-the-art parameter-efficient tuning methods.
우리는 대형 언어 모델(LLMs)에 사용되는 훈련 데이터 형식을 활용하여 프롬프트 튜닝을 위한 입력 데이터 형식을 재정의하고 구성하는 새로운 방법을 소개한다. 프롬프트 튜닝은 사전 훈련된 언어 모델을 하위 작업 에 적응시키는 강력한 파라미터 효율적 기법으로 자리 잡았지만, 완전한 미세 조정에 해당하는 성능 수준을 달성하는 데에 여전히 어려움이 있다. 우리가 제안하는 접근법, PT2TT (Prompt Tuning via Pre-training Task Template Transfer)는 대형 언어 모델이 전처리 템플릿을 사용하여 다양한 자연어 태스크에서 잘 수행되도록 사전 훈련된다는 사실에 기반하고 있으며, 이러한 템플릿은 T5와 같은 오픈 소스 언어 모델에서 쉽게 찾을 수 있다. 따라서 하위 작업이 주어졌을 때, 입력 데이터를 관련있는 사전 훈련 태스크와 유사하도록 형식화하는 것이 언어 모델에게 이미 익숙한 맥락을 제공할 수 있기 때문에 유의미하다. 우리는 하위 작업만의 나머지 맥락을 포착하기 위해 입력 데이터에 소프트 프롬프트를 추가하고 이를 학습한다. 표준 벤치마크 작업 세트 에서의 실험을 통해, 우리의 방법이 기존 프롬프트 튜닝보다 크게 우월하며, 다른 최신 파라미터 효율적 학습 방법들과 동등한 성능을 보인다는 것을 보여준다.
