Generative retrieval models encapsulate the understanding of queries within their parameters. However, to minimize uncertainty and attain a more comprehensive understanding, it is crucial to thoroughly explore the knowledge derived from decoding and auxiliary indexes. In this regard, we present Re3val, which facilitates a generative retrieval model to reinforce and rerank utilizing limited data. Specifically, we generate questions from our pre-training dataset to counterbalance epistemic uncertainty and bridge the domain discrepancy between the pre-training and fine-tuning datasets. Additionally, we utilize the REINFORCE to infuse information sourced from the undifferentiable constrained decoding algorithm. Furthermore, our page title reranker integrates contexts procured via Dense Passage Retrieval to rerank the retrieved page titles. Subsequently, we extract contexts from the KILT database using the reranked page titles and rerank them by relevance. Upon grounding the top five reranked contexts, Re3val demonstrates the Top 1 KILT scores compared to all other generative retrieval models across five KILT datasets.
생성 검색 모델은 그들의 파라미터 안에 질의 이해를 포함합니다. 그러나 불확실성을 최소화하고 더 포괄적인 이해를 얻기 위해서는 디코딩과 보조 인덱스에서 파생된 지식을 철저히 탐구하는 것이 중요합니다. 이와 관련하여, 우리는 제한된 데이터를 이용하여 생성 검색 모델을 강화하고 재정렬하는 Re3val을 제시합니다. 구체적으로, 우리는 전처리 데이터 세트에서 질문을 생성하여 공리적 불확실성을 균형 잡고 전처리와 미세 조정 데이터 세트 사이의 도메인 차이를 해결합니다. 또한, 우리는 REINFORCE를 사용하여 미분 불가능한 제한 디코딩 알고리즘에서 추출된 정보를 주입합니다. 더욱이, 우리의 페이지 제목 재정렬기는 Dense Passage Retrieval을 통해 획득한 문맥을 통합하여 검색된 페이지 제목을 재정렬합니다. 그 후, 우리는 재정렬된 페이지 제목을 사용하여 KILT 데이터베이스에서 문맥을 추출하고, 그것들을 관련성에 따라 재정렬합니다. 상위 5개의 재정렬된 문맥을 그라운딩하면, Re3val은 모든 다른 생성 검색 모델에 비해 가장 높은 평균 KILT 점수를 KILT 데이터 세트 5개에서 보여줍니다.
