[论文阅读]REPLUG: Retrieval-Augmented Black-Box Language Models

REPLUG: Retrieval-Augmented Black-Box Language Models
REPLUG: Retrieval-Augmented Black-Box Language Models - ACL Anthology
NAACL-HLT 2024

在这项工作中，我们介绍了RePlug（Retrieve and Plug），这是一个新的检索增强型语言模型框架，其中语言模型被视为黑盒，检索组件被添加为一个可调优的即插即用模块。 给定一个输入上下文，RePlug首先使用一个现成的检索模型从外部语料库中检索相关的文档。 检索到的文档被添加到输入上下文的前面，并输入到黑盒语言模型中以进行最终预测。 由于语言模型上下文长度限制了可以添加的文档数量，我们还引入了一种新的集成方案，该方案使用相同的黑盒语言模型并行编码检索到的文档，使我们能够轻松地用盘算换取准确性。 如图1所示，RePlug非常灵活，可以与任何现有的黑盒语言模型和检索模型一起使用。
还介绍了RePlug LSR（RePlug with LM-Supervised Retrieval），这是一种练习方案，它可以进一步改进RePlug中的初始检索模型，并利用来自黑盒语言模型的监督信号。 核心思想是使检索器顺应语言模型，这与之前的工作(Borgeaud et al., 2022)相反，后者使语言模型顺应检索器。 我们使用了一个练习目标，该目标更倾向于检索能够提高语言模型困惑度的文档，同时将语言模型视为一个冻结的黑盒评分函数。
REPLUG

新的检索增强型LLM范式，其中语言模型被视为黑盒，检索组件被添加为一个大概可调优的模块。

给定一个输入上下文，RePlug首先使用检索器从外部语料库中检索一小组相关文档。 把每个检索到的文档与输入上下文串联起来，通过LLM并行处置惩罚，并集成预测概率
文档检索

使用基于双编码器架构的稠密检索器，编码器把输入内容和文档进行编码：对待编码内容的token的末了一个隐蔽层表示进行平均池化，实现编码映射
使用余弦相似度盘算嵌入的相似度

输入重构

思量到语言模型的上下文窗口大小，将所有top-k文档添加到问题x前面的方案从根本上受到我们能够包含的文档数量（即k）的限制。
 为了办理这个限制，我们采取了一种如下所述的集成计谋。 
假设