While instruction-tuned language models have demonstrated impressive zero-shot generalization, these models often struggle to generate accurate responses when faced with instructions that fall outside their training set. This paper presents \textit{Instructive Decoding} (ID), a simple yet effective approach that augments the efficacy of instruction-tuned models. Specifically, ID adjusts the logits for next-token prediction in a contrastive manner, utilizing predictions generated from a manipulated version of the original instruction, referred to as a \textit{noisy instruction}. This noisy instruction aims to elicit responses that could diverge from the intended instruction yet remain plausible. We conduct experiments across a spectrum of such noisy instructions, ranging from those that insert semantic noise via random words to others like `opposite' that elicit the deviated responses.
Our approach achieves considerable performance gains across various instruction-tuned models and tasks without necessitating any additional parameter updates. Notably, utilizing `opposite' as the noisy instruction in ID, which exhibits the maximum divergence from the original instruction, consistently produces the most significant performance gains across multiple models and tasks.
지시어 튜닝 언어 모델 (Instruction-tuned language model)은 인상적인 제로샷 일반화 능력을 보여주었지만, 여전히 학습 세트 외부의 지시어를 만났을 때 정확한 응답을 생성하는 데 어려움을 겪는 경우가 잦다. 이 논문은 지시어 튜닝 모델의 효과를 증강하는 간단하면서도 효과적인 접근법인 `지시적 디코딩'(ID)을 소개한다. 구체적으로, ID는 `잡음 지시어'로 불리는 원래 지시어의 조작된 버전에서 생성된 예측을 활용하여, 다음 토큰 예측을 위한 로짓을 대조적으로 조정한다. 이 잡음 지시어는 의도된 지시어와 다를 수 있지만 그럴듯한 응답을 유도하는 것을 목표로 한다. 우리는 임의의 단어를 통해 의미상의 잡음을 삽입하는 것부터 `반대'와 같이 일탈된 응답을 유도하는 것에 이르기까지 다양한 잡음 지시어에 대한 실험을 진행했다.
우리의 접근 방식은 다양한 지시어 튜닝 모델과 작업에 걸쳐 상당한 성능 향상을 달성하며, 추가적인 파라미터 업데이트를 필요로 하지 않다. 특히, 원래 지시어와 최대한 동떨어진 `반대'를 잡음 지시어로 사용하는 ID는 다양한 모델과 작업에 걸쳐 가장 큰 성능 향상을 일관되게 보여준다.
