IT评测·应用市场-qidao123.com

标题: 【文献阅读】Efficient Prompting Methods for Large Language Models: A S [打印本页]

作者: 小小小幸运 时间: 2025-3-6 17:15
标题: 【文献阅读】Efficient Prompting Methods for Large Language Models: A S
arXiv:2404.01077v2 [cs.CL] 2 Dec 2024
Prompt是一种主流范式，用于在不修改内部参数的环境下，使大语言模型顺应特定的天然语言处理使命。因此，需要将详细的增补知识整合到外部Prompt中，这在实际应用中不可避免地会带来额外的人力和盘算负担。作为一种减轻资源消耗的有效解决方案，高效Prompt方法受到了广泛关注。我们从高条理提供数学表达式，深入讨论针对不同Prompt组件的主动Prompt工程，以及在连续和离散空间中的Prompt压缩。最后，我们强调了有远景的将来研究方向，以启发对该范畴感兴趣的研究人员。
CCS概念：
- 通用与参考→综述与概述；
- 盘算方法→天然语言处理。
其他关键词和短语：大语言模型；高效Prompt方法；主动Prompt工程；Prompt压缩
1 引言

随着大语言模型（LLMs）在参数规模上取得数千亿的突破，它们获得了涌现本领[103]，尤其是上下文学习本领[6]，这推动了Prompt技能的快速发展。Prompt作为一种轻量级且远景广阔的解决方案，可在不调整参数的环境下控制大语言模型，在天然语言处理（NLP）范畴受到了广泛关注。Prompt有两种类型，其中硬Prompt是离散的天然语言描述，而软Prompt是连续的向量表示。特殊地，硬Prompt依附其相较于软Prompt更高的可表明性、可控性和灵活性，成为了人机交互的关键桥梁。因此，我们主要关注硬Prompt，它涵盖了大语言模型输入的所有组件，从简洁的指令到带有示例的长上下文（头脑链（CoT）[104]、角色扮演体系Prompt等）。
目前，通过Prompt来释放大语言模型在特定范畴的潜力已很常见。比方，CoT系列研究[5, 13, 111]通过渐渐思考，渐渐增强了大语言模型的推理本领。此外，OpenAI近来推出了经过强化学习训练的推理大语言模型o1[62, 63]，它可以分解更复杂的标题，并在答复前天生较长的内部头脑链。
这些方法的出色表现推动了对优化Prompt方法的研究不停增长，这在天然语言处理范畴逐渐形成了一个全新的范畴。与此同时，与应用服从相干的一些挑衅也接踵而至：越来越复杂的Prompt计划使得手动优化Prompt既耗时又费力；越来越详细的Prompt内容在应用于大规模模型时，不可避免地会消耗大量盘算资源。如此高昂的开销已成为大语言模型实际部署的主要障碍，因此在本文中，我们将“高效Prompt方法”定义为利用更少的人力或盘算资源，使语言模型实现可比甚至更好性能的Prompt方法。

我们将本综述聚焦于大语言模型期间的高效Prompt方法。据我们所知，这是初次从“高效”的角度总结大语言模型Prompt方法的综述。值得留意的是，我们在2.3节从数学角度对各类资源节省方法的核心概念进行了建模。
随后，我们提出了一种新奇的分类法，如图1所示，以便基于一致的优化计谋全面回首高效Prompt方法。为避免人力资源的浪费，我们在第3节介绍了基于大语言模型赋能的主动Prompt工程方法，包罗对不同Prompt组件的迭代计划和优化。
为节省盘算资源，我们在第4节根据Prompt类型将Prompt压缩方法分为两类：连续空间中的文本到向量（T2V）压缩和离散空间中的文本到文本（T2T）压缩。此外，我们提供了富足的示意图来描述每类方法的基本流程，以及展示同类方法细节差异的表格。
附录A.1中还列出了开源项目，方便天然语言处理从业者在科研和贸易部署中高效地对大语言模型进行Prompt。最后，我们在第5节分析了现有方法的挑衅，并讨论了有远景的将来研究方向。我们希望本综述能清楚呈现高效Prompt这一主题，并为通用人工智能（AGI）发展过程中的便捷人机交互做出贡献。
2 预备知识

2.1 Prompt的劈头

在天然语言处理范畴，从监督学习到微调再到Prompt，已经发生了两次重大的范式转变，这里的“范式”指的是训练语言模型（LM）并将其应用于特定下游使命的方式。目前，Prompt已成为大语言模型的主导范式。下面，我们在语言模型发展的配景下引出Prompt的劈头。
随着基于Transformer[94]架构的预训练语言模型（PLMs）的鼓起，第一次重大转变是从单阶段（完全监督学习）转变为两阶段过程（预训练 + 微调）。我们迎来了预训练语言模型期间，避免了重新开始训练的盘算成本。第一阶段是利用大量无标签数据预训练语言模型，第二阶段是利用少量有标签数据对预训练语言模型进行微调，以顺应特定使命。
具有1750亿参数的著名天生式预训练语言模型GPT-3[6]显现出了令人印象深刻的上下文学习本领，可以或许从少量示例中天生预期的响应，这引发了第二次重大转变（预训练、Prompt和预测）。通过适当的Prompt引导单个通用模型实行多个使命成为可能，而无需更新参数，从而节省了为每个使命微调单独模型所需的大量盘算成本。结果，语言模型的参数规模不停扩大到数十亿级别，开启了大语言模型期间，为Prompt的进一步发展奠定了坚固基础。总之，Prompt主导了人机交互方式，具有开启通用人工智能大门的巨大潜力。
2.2 Prompt类型

Prompt作为描述人类意图的模型输入，可以是文本、图像、音频等多种模态，其质量直接决定了特定使命的准确性。本文仅讨论天然语言处理范畴中文本情势的Prompt，即“硬Prompt”。当文本被神经网络处理为向量时，向量情势的Prompt也被称为“软Prompt”。考虑到Prompt类型与模型架构之间的密切关系，以下将分别从预训练语言模型和大语言模型期间的角度进行介绍。
2.2.1 硬Prompt

- 预训练语言模型期间。基于Transformer的预训练语言模型根据其架构可分为三类：仅编码器、仅解码器和编码器 - 解码器。每个模型实用的输入格式在很大程度上取决于预训练使命的选择，因此针对特定架构计划了不同的Prompt情势。比方，通过掩码语言建模（MLM）使命预训练的仅编码器模型[22, 43, 56]善于预测Prompt模板中的[MASK]标志，如表1 - a所示。而通过自回归语言建模使命预训练的仅解码器模型[6, 76, 77]则善于从左到右天生前缀Prompt后的下一个标志，如表1 - b所示。
- 大语言模型期间。目前，大多数大语言模型采取仅解码器架构，并通过指令微调使其符合人类偏好，因此它们可以根据天然语言Prompt天生所需的响应。此外，随着大语言模型在各种通用使命中表现出色，Prompt的计划也变得更加详细和全面。Prompt的基本组件可以总结为四个部分，如表1 - c所示。

表1. 硬Prompt的三种情势，其中绿色代表硬Prompt，突出显示的部分代表头脑链。(a) 完形填空Prompt通常是一个带有待添补空格的Prompt模板。(b) 前缀Prompt利用简洁的指令和输入 - 输出示例，在预训练期间激活大语言模型的记忆。(c) 详细描述包含特定使命的指令、上下文、输入和输出指示，能更好地利用大语言模型在各种下游使命中的涌现本领。
2.2.2 软Prompt

- 预训练语言模型期间。早期的工作研究了利用软Prompt进行参数高效微调，包罗Prompt调整[44]、前缀调整[49]等。如表2 - a和b所示，这些方法冻结原始参数，仅微调少量额外的软Prompt，以实现与全参数微调相当的性能。随着模型规模的增长，这种现象更加明显。然而，随着大语言模型期间的到来，许多大语言模型是闭源的，参数无法访问，导致软Prompt的后续研究相对停滞。
- 大语言模型期间。在本综述中，我们也将语言模型内部硬Prompt的向量表示视为软Prompt。软Prompt仍旧至关重要的原因是，它们可以与语言模型一起训练，以实现有效的模型调整。大语言模型期间的软Prompt（如表2 - c所示）通常比硬Prompt更紧凑，可以或许以更少的空间存储硬Prompt中的有效信息，从而加快推理。

表2. 软Prompt的三种情势，其中圆形代表连续向量，方形代表离散标志，橙色代表软Prompt，灰色代表冻结参数，绿色代表硬Prompt。(a) 嵌入指添加到Prompt模板中的可训练参数。(b) 前缀被添加到神经网络的每一层，以指示下游使命类型。(c) 紧凑向量是由开源大语言模型压缩的硬Prompt。
2.3 数学建模

为了充分发挥大语言模型在各种研究和应用中的广泛优势，我们从减少实际应用中资源消耗的角度回首高效Prompt方法。我们将主要资源分为两类：人力资源和盘算资源。我们的分析表明，尽管每类优化目的有许多共性，但它们之间缺乏联系。
为了弥合这一差距，我们尝试将各类高效Prompt方法的优化过程建模为数学公式，以展现它们作为本综述理论基础的作用。通过这种方式，初学者不仅可以一目了然地了解高效Prompt方法的本质，研究人员也可以受到启发，公道地将这两种计谋整合为双赢的解决方案，同时减少两个范畴的资源消耗。
- 主动Prompt工程（第3节）：优化对象主要针对Prompt的指令\(P_{ins}\)和示例\(p_{dem}\)。优化目的是在离散Prompt空间\(P_{Hard}\)中搜索最优的天然语言Prompt\(p^{}\)，以使目的模型\(M\)的性能最大化：
\[\large p^{}=\underset{p \in P_{Hard }}{arg max } \mathcal{P}\left[f\left(p_{ins }, p_{dem } ; M\right)\right]\]
其中\(f(\cdot ; M)\)表示目的模型的输出，\(\mathcal{P}\)表示通过将输出与真实标签进行比较的评估指标来衡量的性能，比方天然语言理解或数学推理使命中的准确率。
- Prompt压缩（第4节）：有两种Prompt压缩方法在不同的优化空间中实行。连续空间中的文本到向量（T2V）压缩通过微调大语言模型，将长文本\(p_{o}^{h}\)（原始硬Prompt）压缩为短向量\(p_{c}^{s}\)（压缩后的软Prompt）。离散空间中的文本到文本（T2T）压缩通过过滤冗余信息或进行总结，直到信息富足，将长文本\(p_{o}^{h}\)压缩为短文本\(p_{c}^{h}\)（压缩后的硬Prompt）。信息性\(I(p)\)（比方自信息[50]、狐疑度[34, 35]等）可以由小语言模型（SLM）或大语言模型来衡量。优化目的是最小化Prompt压缩前后模型输出分布的差异：
\[\large p_{c}^{s }=\underset{p^{s} \sim\left\{\theta_{M}, \theta_{soft}\right\}}{arg min } \mathcal{D}\left[q\left(y_{M} | p_{o}^{h}\right) \| q\left(y_{M} | p_{c}^{s}\right)\right]\]
\[\large p_{c}^{h }=\underset{I\left(p^{h}\right) \geq \lambda}{arg min } \mathcal{D}\left[q\left(y_{M} | p_{o}^{h}\right) \| q\left(y_{M} | p_{c}^{h}\right)\right]\]
其中\(\theta\)表示可训练参数，\(\lambda\)表示信息性的最小阈值，\(q(y_{M} | \cdot)\)表示目的模型\(M\)的输出分布，\(\mathcal{D}\)表示输出分布之间的距离度量，比方KL散度。
基于上述理论基础，我们在以下内容中详细介绍两类代表性的高效Prompt方法，这将进一步加深对这些数学公式的理解。图2展示了本综述的概述。左侧表示主动Prompt工程（第3节）通过元Prompt利用大语言模型强盛的天生本领，迭代开辟高质量指令（第3.1节）并优化头脑链Prompt框架（第3.2节）以获得更好的性能，从而替换了人类Prompt工程师的重复性劳动。右侧讨论了在连续和离散空间中的Prompt压缩（第4节），以缩短Prompt长度，获得更多输入空间，并节省盘算资源以加快推理。T2V压缩（第4.1节）通过训练开源大语言模型，利用向量缓存硬Prompt的关键信息。T2T压缩（第4.2节）仅保留硬Prompt中的有效信息，而不会降低性能。

图2. 高效Prompt方法概述。主动Prompt工程（第3节）利用大语言模型的强盛天生本领，通过元Prompt迭代开辟高质量指令（第3.1节）并优化头脑链Prompt框架（第3.2节），以替换人类Prompt工程师的重复性劳动，减少人力资源消耗。Prompt压缩（第4节）在连续和离散空间中减少Prompt长度，节省盘算资源以加快推理。T2V压缩（第4.1节）利用向量缓存硬Prompt的关键信息，T2T压缩（第4.2节）仅保留硬Prompt中的有效信息，而不会降低性能。
3 主动Prompt工程

Prompt工程是指计划有效的Prompt，以便在复杂场景中更好地利用特定语言模型。
挑衅：手动计划精心的Prompt，使语言模型充分理解人类意图并模仿人类举动，这直观上是Prompt工程的目的。然而，由于早期语言模型的理解本领有限，Prompt通常是简洁的指令，手动改进的空间很小。
厥后，随着语言模型在通用本领上取得革命性突破，人们开始频仍利用更详细的天然语言Prompt与大语言模型进行交互。大量实验发现，大语言模型Prompt的上限变得模糊，因此人类专业知识无法快速准确地应对新使命。
我们总结了手动计划大语言模型Prompt面临的几个挑衅：(1) 敏感性：特殊是在零样本设置中，Prompt内容的渺小差异可能导致模型性能的显著差异[36, 82, 124]，因此不同的模型和使命需要定制Prompt。(2) 次优性：尽管精心计划的Prompt能有效进步使命准确率，但大语言模型与特定Prompt的内部兼容性仍不确定。缺乏优化方向意味着人类工程师只能依靠试错来探索更广泛的Prompt空间，以寻找相对最优的解决方案。(3) 差异：大语言模型对天然语言的表明可能与人类不同[21]，偶然语法和句法不一致的偶然义Prompt可能更有效，这显然超出了人类计划Prompt的范围。总之，在大语言模型期间，计划天然语言Prompt是一门艺术，需要大量的时间和经验，这不可避免地过分消耗了人力资源。
解决方案：大语言模型可能确切知道它们想要什么样的Prompt，因此人们提出了多种由大语言模型驱动的Prompt优化方法，以减少人类私见，并自顺应地搜索高质量Prompt，通过公式1最大化大语言模型的性能。这一系列工作统称为主动Prompt工程，其本质是模仿离散空间中的搜索算法，由三个迭代步调组成，如图3所示。

图3. 主动Prompt工程的基本流程。步调1：根据定制的优化方向扩展离散Prompt空间。步调2：根据目的模型性能公道评估候选Prompt。步调3：利用适当的采样计谋从Prompt池中选择最优Prompt。
根据Prompt的不同组件，主动Prompt工程分为两部分：第3.1节的指令计划和第3.2节的头脑链优化。这两种方法主要采取搜索算法原理来确定最优解，元Prompt在引导大语言模型（称为优化器）进行天生、评估和选择方面起着至关重要的作用，而不是由人类工程师来完成，从而以简单高效的方式实现Prompt计划的主动化。它们的区别在于，前者侧重于扩展指令空间，而后者更倾向于构建全面的标题解决框架。
3.1 指令计划

指令作为人机交互最直接的方式，是上下文学习的首选。通常，指令是简洁明了的使命描述，用于引导大语言模型实行特定使命，类似于激活特定范畴的某些知识。作为Prompt的核心组件，指令计划一直是主动Prompt工程范畴众多讨论的热门话题。模仿搜索算法的条件是创建富足的搜索空间，这对人类工程师来说可能是一个巨大的挑衅。然而，对于在预训练中积聚了广泛语言知识，并在监督微调中掌握了出色天生本领的大语言模型来说，这十拿九稳，其创造力甚至优于人类。下面，我们将从三个角度梳理现有工作。
3.1.1 基于采样的方法

Self-instruct[101]表明，大语言模型可以从少量人类编写的种子指令中主动天生实用的指令。为了充分利用大语言模型在构建多样化Prompt空间方面的天生本领，最直接的方法是在推理过程中进行迭代采样。但是大语言模型如何天生指令呢？它可以根据Prompt中的输入 - 输出对匹配最符合的指令，大概模仿精心计划的Prompt。随后，元Prompt引导大语言模型实行主动Prompt工程中的每一步。
APE（主动Prompt工程师）[126]是一项开创性的工作，它将人类难以处理的标题视为由大语言模型引导的黑盒优化过程。所有Prompt优化过程都可以由一个符合人类偏好的指令天生大语言模型来实行。大语言模型分别充当不同的Prompt工程师来优化Prompt中的指令。
步调1：推理大语言模型根据示例（输入 - 输出对）天生指令。步调2：评分大语言模型通过预测下一个标志的概率来评估这些候选指令，并选择得分超过特定阈值的高质量指令。步调3（可选）：重采样大语言模型围绕最佳候选指令进行蒙特卡罗搜索，以寻找语义相似的指令。
这样的优化流程相当于将示例压缩为单个指令，在零样本/少样本学习和零样本头脑链设置中，大大优于先前的大语言模型基线。此外，APE在24个指令归纳使命和21个精选的Big - Bench[90]使命中的17个上，实现了与人类解释者天生的指令相当或更好的性能。然而，Prompt优化方法在数据分布变化时面临显著的性能差距挑衅。GPO框架[47]首先利用元Prompt让大语言模型为单个无标签输入天生多个相应的输出。然后，Prompt集成标志计谋选择一致性最高的输出作为标签。最后，肴杂不同分布的示例来运行APE进行联合Prompt优化，从而获得具有高鲁棒性和泛化性的终极优化Prompt。
基于探索与利用的概念，OPRO[109]利用元Prompt分别指示大语言模型作为优化器来探索大量指令，并作为评分器来评估它们的分数。然后，指令与其分数迭代形成优化轨迹，以引导优化器探索新的指令，从而进步使命准确率。由于上述方法缺乏人类试错过程和更深入的范畴专业知识，PromptAgent[99]基于大语言模型的自我反思本领，通过蒙特卡罗树搜索（MCTS）主动计划富含范畴特定细节和结构化引导的专家Prompt。它以树结构体系地扩展Prompt空间，并选择最优路径中具有最高奖励的最佳节点。受专家肴杂（MoE）的启发，肴杂Prompt（MoP）[97]通过对不同专家的示例进行聚类来扩展指令优化空间，然后通过基于区域的联合搜索（RBJS）算法为每个聚类确定最佳指令。
GPS[107]验证了基于进化算法（EA）主动搜索高性能Prompt的可行性。进化算法是一类高度鲁棒且广泛实用的优化算法，它模仿天然选择的 “适者生存” 原理，包罗遗传算法（GA）、差分进化（DE）等。在Prompt优化范畴，一些工作遵循进化算法的概念来增强离散Prompt空间的多样性。
大语言模型作为进化算子，在元Prompt的引导下实行四个关键操纵。步调1：利用适当的种子初始化Prompt种群。步调2：通过选择、变异和交错将初始Prompt进化为候选Prompt。步调3：根据适当的指标评估候选Prompt。步调4：用最得当的样本更新种群。不同方法的种群初始化可能不同，但迭代进化过程基本相同。
EvoPrompting[8]初次引入大语言模型作为进化算子，避免了手动计划离散搜索空间带来的资源浪费和人类私见。经过代码预训练的大语言模型用于实行神经架构搜索（NAS）使命的端到端元学习算法。通过少数精心计划的步伐种子初始化父样本，以启动迭代。
EvoPrompting在模型性能和盘算服从方面均优于手动计划和简单的少样本Prompt方法。EvoPrompt[28]是初次尝试通过天然语言描述将大语言模型与进化算法相结合，在离散Prompt优化中实现了探索与利用的平衡。初始种群既包罗利用人类先验知识的手动Prompt，也包罗通过轮盘赌方法选择的多样化天生Prompt，以避免局部最优。实验表明，当已经存在几个高质量Prompt时，选择遗传算法；否则选择差分进化算法。
Promptbreeder[24]是一种通用的自引用自我改进机制，用于针对给定范畴同时进化使命Prompt（原始Prompt）和变异Prompt（元Prompt）。AELP[30]通过带有束搜索的简单贪默算法优化长Prompt，并利用搜索历史来增强基于大语言模型的变异的有效性。Cui等人[20]引入了一种多阶段探索 - 利用计谋PhaseEvo，以实现指令和示例的联合优化。首先，利用可用的输入 - 输出对和人类计划的Prompt来探索一个庞大的联合初始化种群。然后，一个大语言模型改进器根据大语言模型查抄器提供的反馈天生候选Prompt。值得留意的是，依次应用基于大语言模型的全局和局部变异，以实现进化的多样性和快速收敛。
3.1.2 基于反馈的方法

准确的反馈是监督优化对象迭代更新为更好版本的关键因素，它可以采取多种情势，如图4所示，比方强化学习（RL）中的奖励信号、梯度下降中的梯度，甚至是人类偏好。这一系列工作与前面的方法的区别在于，反馈信号指示了更明确的优化方向，因此搜索空间相对较小。

图4. 各种反馈信号有助于明确主动提示工程的优化空间，其中橙色虚线表示原始的提示搜索空间，灰色实线代表因优化方向更明确而缩小的搜索空间。
早期，黑盒大语言模型的离散Prompt优化可以被表述为强化学习标题。通常，计谋将冻结的预训练语言模型与具有相对少量参数的可训练神经网络相结合，奖励反映了将目的大语言模型的预测与真实环境进行比较的综合反馈。
RLPrompt[21]由一个冻结的预训练语言模型（RoBERTa - large[55]）和一个可学习的特定使命多层感知器（MLP）组成，逐个天生前缀Prompt的标志，以最大化奖励，但这会导致Prompt在语义上不连贯。DSP[51]仅利用极少的标志数据对一个小的计谋语言模型（T5[79]）进行微调，为原始输入天生细致的、特定实例的定向刺激Prompt，比方在总结指令后添加关键词。PACE[23]利用大语言模型同时作为举措者和批评家的双重角色进行迭代Prompt优化。
PRewrite[41]训练一个Prompt重写大语言模型（PaLM[3]）通过强化学习优化与输入无关的指令，并计划了两种重写计谋：PRewrite - I采取贪心解码，PRewrite - S采取搜索算法。SCULPT[42]是一个新奇的框架，通过强化学习的举措者 - 批评家机制以条理树的情势体系地优化长Prompt。它有两种互补的反馈机制：开端评估在实行前评估Prompt结构，错误评估在实行后诊断模型错误。
实际上，梯度下降是在连续空间中探索最优解最常用的算法，其中梯度是一种负反馈情势。在封闭资源的大语言模型广泛流行的配景下，元Prompt通常用于引导大语言模型自行实行主动Prompt优化的关键步调，特殊是梯度天生可以被视为一种自我反馈。
ProTeGi[72]借助基于API的大语言模型提出了一种简单的非参数Prompt优化解决方案。其非参数性质表如今以下几个方面：(1) 文本梯度：大语言模型根据训练数据的小批量总结初始Prompt的缺陷，作为文本梯度。(2) 反向流传：另一个大语言模型通过在文本梯度的相反语义方向上编辑初始Prompt，将其转换为候选Prompt。(3) 扩展：释义大语言模型进行蒙特卡罗搜索，在与候选Prompt语义相似的范围内探索Prompt空间。(4) 束搜索：多臂赌博机优化中的最佳臂辨认算法选择最有前途的候选Prompt用于下一次迭代。
风趣的是，由于元Prompt在操纵大语言模型工程师方面起着重要作用，PE2[113]专注于按照基于梯度的优化中常用的概念对元Prompt进行Prompt工程。为了优化ProTeGi的搜索空间，PREFER[116]计划了一个用于Prompt集成学习的反馈 - 反思 - 改进框架，其中反馈反映了每个弱Prompt的不足，并协同工作以在增强过程中覆盖多个子空间。
还有一种有效的集成方法来增强Prompt效果评估的稳定性，优于通例的束搜索或蒙特卡罗搜索。基于梯度累积，AutoHint[88]为每个输出错误的样本（Prompt - 输入对）推导一个Prompt，并从每个样本的Prompt中总结梯度。UniPrompt[38]通过对具有相似使命方面的样本进行聚类，并结合每个聚类的反馈（如小批量），天生捕捉使命多个方面的优化Prompt。GPO[92]不总结梯度信息，而是直接从包含使命Prompt、错误示例和Prompt - 分数轨迹的元Prompt中引导大语言模型实现更新方向，并利用编辑距离实行更新方法。为了有效顺应不同的数据分布，AMPO[110]主动构建一个多分支Prompt，以高效处理复杂使命中的多种模式。大语言模型分析器辨认每个失败案例的原因，大语言模型总结器迭代地将所有原因总结为不同的模式，以减少重复和冗余的分支。大语言模型修订器终极在深度（通过添加更多细节）或广度（通过添加更多分支）上优化Prompt。
人类偏好对齐有助于大语言模型学习人类智能，对齐的效果在很大程度上取决于偏好数据的质量。与基于人类反馈的强化学习（RLHF）[64]类似，APOHF[53]通过训练一个神经网络，根据人类偏好预测最佳Prompt，实现了Prompt优化的主动化。BPO[15]基于人类偏好反馈构建成对的原始Prompt和优化Prompt，训练一个70亿参数的序列到序列模型作为Prompt偏好优化器。
优化后的Prompt顺应了大语言模型的理解，实用于各种大语言模型，与基于近端计谋优化（PPO）[81]和直接偏好优化（DPO）[78]的强化学习相比，进一步缩小了人与大语言模型之间的对齐差距。APEAR[37]利用大语言模型迭代优化Prompt，特殊是针对基于自我反馈和高质量Prompt偏好的段落相干性排名使命。FIPO[57]引入了第一个大规模Prompt优化偏好数据集（POP），该数据集网络了次优的GPT - 3.5的被拒绝数据和最优的GPT - 4的选择数据，并经过人类专家和分析模型的严格交错验证。POP用于离线微调基于本地大语言模型的优化器，以改进自由情势指令导向的Prompt。然而，大语言模型是否是一个好的Prompt优化器是一个值得探索的标题[59]。
3.1.3 基于编辑的方法

除了上述方法外，通过在特定词汇单位级别利用删除、交换、释义、添加等操纵直接编辑Prompt，在不偏离原始Prompt的环境下扩展Prompt空间也是可行的。GrIPS[70]是一种无梯度、基于编辑的搜索方法，由三个步调组成。步调1包罗两个操纵：切片和编辑。首先，利用基于条件随机字段（CRF）的成分分析器[115]将基础指令分割为更短的词汇单位（即单词、短语或句子），实践证明短语级别的切片最有帮助。然后，通过四种操纵（删除、交换、释义、添加）之一对特定切片进行编辑，以扩展指令空间。步调2在一个分数集上评估候选指令，并基于贪心搜索、束搜索和模仿退火（SA）算法选择最佳指令。步调3进行多次搜索迭代，直到分数不再进步或达到最大阈值。GrIPS已被证明实用于许多Prompt模式（有无示例均可），尤其是在经过指令微调的大语言模型中。
Plum[65]作为一种通用的Prompt学习方法，同时满足主动、离散、黑盒、无梯度和可表明的特点，它将GrIPS的编辑操纵与各种元启发式算法（包罗登山法、模仿退火、带/不带交错的遗传算法、禁忌搜索和和声搜索）相结合，以扩展离散Prompt空间。SPRIG[117]特殊利用GrIPS编辑操纵来优化体系Prompt。
编辑操纵也可以在强化学习过程中用于探索优化空间。TEMPERA[120]在测试时顺序编辑与查询相干的Prompt。Prompt的编辑操纵包罗对指令的交换、添加和删除；对示例的置换和交换；对语言表达的更改。根据RLPrompt[21]中提出的步调奖励，TEMPERA利用连续编辑之间的分数差异作为即时奖励，并采取基于留意力的计谋架构来选择可能的操纵。与先前的工作不同，这种方法在人类先验知识和Prompt性能之间取得了良好的平衡。
3.2 头脑链优化

鉴于指令的简洁性，其包含的信息可预见解不足。为了更好地激发大语言模型在解决复杂使命方面的潜力，可以添加与使命相干的示例来丰富Prompt的上下文。在这些技能中，头脑链（CoT）[104]作为一种关键的Prompt计谋被引入，它显著增强了大语言模型的推理本领。头脑链的焦颔首脑是 “分而治之”，将复杂标题分解为更细粒度的子标题，并在一个完备的头脑框架中渐渐进行明确推导。由于推理是人工智能体系最有意义的使命之一，因此出现了许多以头脑链为代表的Prompt框架优化工作。我们将它们纳入主动Prompt工程中的头脑链优化，并根据与第3.1节指令计分别类尺度类似的方式提供三类方法。最后一类涉及利用外部工具与更广泛的知识库进行交互。
3.2.1 基于采样的方法

Zero - Shot - CoT[40]初次验证了大语言模型可以利用指令性Prompt “让我们一步一步思考” 采样多样的头脑链示例（推理 - 答案对），这大大降低了手动计划少样本头脑链的人力资源需求。随后，一种新的解码计谋——自一致性[100]被提出，以取代头脑链采样中利用的简单贪心解码。详细来说，它首先通过调整温度系数采样多样的推理 - 答案对，然后通过多数投票选择最一致的答案。这两项研究显著释放了大语言模型的推理本领，为头脑链Prompt优化奠定了可靠的基础。
起初，LMSI[32]证明了大语言模型可以通过利用头脑链Prompt和自一致性，对带有推理增强答案的肴杂格式进行训练来实现自我提升。许多工作不再侧重于增强训练数据，而是开始基于大语言模型自身的输出改进Prompt输入。
为了减轻Zero - Shot - CoTPrompt中大语言模型的幻觉标题，Auto - CoT[122]利用句子BERT[80]对标题进行多样性聚类，并天生相应的头脑链示例，以实现更灵活、顺应使命的少样本Prompt。Boosted Prompting[69]鼓励大语言模型为不同标题采样多个推理。将准确率或一致性最低的标题及其正确推理视为困难示例，形成有信息的Prompt，迭代组成一个增强的集合，从而增长标题空间的团体覆盖范围。COSP[95]专门计划了一个评分函数，该函数结合了一致性、多样性和重复性，用于在第一阶段选择由Zero - Shot - CoTPrompt大语言模型天生的良好输出，并在第二阶段通过结果熵自顺应地确定示例的数量。
最后，对两个阶段的输出进行多数投票，形成终极预测。USP[96]是COSP[95]的改进通用版本，不限于推理使命。它采取相同的候选Prompt天生方法，但在利用使命特定选择器方面有所不同，该选择器针对三种经典天然语言处理使命类型（分类、短文本天生和长文本天生）计划评分函数，以选择符合的伪示例。最后，利用贪心解码代替多数投票。面临肴杂使命场景，Meta - CoT[127]采取路由机制将标题类型与现成的示例池进行匹配。如果不匹配，则利用Zero - Shot - CoTPrompt天生头脑链示例，并基于密度像Auto - CoT[122]一样主动更新具有相似标题聚类的数据缓存。Reprompting[108]通过吉布斯采样天生渐渐的头脑链示例。它从训练数据的条件分布中采样，推导出头脑链示例的联合分布，这也可以看作是进化算法的一种变体，在给定少量问答对的环境下，无需人工干预，为每个模型迭代找到有效的头脑链。
3.2.2 基于反馈的方法

Self - refine[60]验证了大语言模型具有基于自我反馈在各种使命中进行迭代优化的本领，其中元Prompt指示同一个大语言模型进行初始天生、反馈和优化。因此，许多优化的Prompt框架都包罗迭代反馈，这通常是大语言模型对自身举动的深刻反思，其举动可能是完全错误的或次优的。我们将涉及渐渐推理性质的相干工作归为这一类。
强化学习在推理使命中仍旧有效，PromptPG[58]在冻结的预训练语言模型（BERT[80]）之上训练一个小的线性层，根据大语言模型预测与标签之间的一致性选择上下文示例，以确保Prompt的完备性。Prompt - OIRL[87]通过基于署理奖励模型（XGBoost[10]）的离线逆强化学习，在实例级别而不是分布级别优化与查询相干的Prompt。用查询 - Prompt对训练署理，以逼近由黑盒大语言模型和黄金标签盘算的真着实线奖励。Reflexion框架[85]计划了一个特殊的记忆模块，将标量奖励转换为天然语言反馈。举措者与环境之间的交互历史（称为轨迹）作为短期记忆，而从轨迹及其奖励分数中总结的语言经验反馈存储在恒久记忆中。Reflexion智能体在两个记忆组件的协同作用下，性能优于其他大语言模型。与Reflexion为了在线动态反馈多次实行使命不同，PROMST框架[14]中的TaskLLM一次性实行使命，根据人类计划的反馈规则主动合成关于错误的离线反馈。SumLLM将反馈总结为上下文，供GenLLM天生新的Prompt候选。为了降低评估成本，对分数预测模型进行微调，以启发式地采样候选子集进行评估。
负反馈可能对大语言模型的思考更有帮助。DTG[45]计划模板，促使大语言模型检测不相干体系输出中的错误类型，并从负反馈中触发大语言模型的思考本领。Prompt模板只需进行最小的调整，就能引导大语言模型实行实用于广泛文本天生使命的简单单步推理。Reprompt[12]在各种推理使命中优化头脑链的渐渐指令。如果没有这部分内容，额外的查抄器会将头脑链转换为带有渐渐指令的情势。受梯度下降的启发，损失是从目的大语言模型与反馈天生器之间的一批交互历史中总结出来的重点。然后，Prompt优化器主要根据损失更新通用Prompt部分。这个举措循环迭代直到Prompt收敛。
3.2.3 基于交互的方法

大语言模型在处理推理使命时，经常会出现幻觉和错误流传等标题。为此，大语言模型与外部资源进行交互以提升其内部本领的做法越来越普遍。比方，在Prompt框架的中心步调中借助外部工具进行错误查抄已被证明非常有效。
改进后的ReAct[112]Prompt轨迹由稀疏协同的头脑链（仅推理）Prompt和仅举措Prompt构成，它引导大语言模型以交错的方式天生推理痕迹和特定使命的举措，并通过与简单的维基百科API交互来克服常见的推理标题。Verify-and-Edit框架[123]天生验证标题来处理一致性较低的头脑链示例，并利用外部知识对推理进行后期编辑，以使预测更符合事实，这种方式更加天然和具有对话性。ART框架[67]从使命库中检索相似使命，构建少样本Prompt，将使命分解为子步调，并在必要时调用工具库中提供的搜索引擎和代码天生等工具。
在Self-ask框架[71]中，大语言模型不停明确地提出后续标题，并利用搜索引擎进行答复，直到有富足的信息来解决原始使命。ToolLLM[74]是一个通用的工具利用框架，包罗由API集合、指令天生和解决方案解释构建的ToolBench，由ToolBench进行监督微调的ToolLLaMA，以及用于多轮交互评估的ToolEval。ATC[84]表明，大语言模型不仅可以通过编程利用一系列工具来解决复杂使命（多工具用户），还可以通过黑盒探测主动掌握快速更新的新工具（多工具学习者）。
4 Prompt压缩

Prompt压缩指的是在不牺牲大语言模型性能的条件下，将长文本Prompt提炼为尽可能短的文本或向量。
挑衅：随着大语言模型天生本领的不停进步，研究人员发现，在少样本设置中利用更详细的上下文进行Prompt可以进步使命准确率。与此同时，大语言模型在长上下文场景中的应用，如多轮对话、检索增强天生（RAG）、多文档择要等，也在积极探索中。理论上，上下文中涵盖的与使命相干的知识越全面，大语言模型的表现就越好。
然而，无限的输入长度会给实际部署带来困难：(1) 有限的上下文窗口：每个大语言模型在预训练时都有一个固定的输入长度限定，任何超过此长度的文本都会被截断，从而丢失这部分上下文语义。(2) 劫难性忘记：当没有富足的缓存空间时，大语言模型在对长序列进行建模时可能会忘记之前学到的知识。(3) 推理速度慢：大语言模型的大规模是一把双刃剑，固然具有大量参数的大语言模型可以存储丰富的知识，通用性强，但在推理过程中不可避免地会过分消耗盘算资源。
解决方案：为了缓解上下文窗口的限定，可以将可重复利用的体系Prompt封装在模型内部，从而为用户输入节省更多空间。继早期参数高效Prompt调整工作[44, 49]之后，少量可学习参数（软Prompt）可以携带特定使命信息，这样冗长硬Prompt中的使命描述就可以转换为更紧凑的软Prompt，以解决劫难性忘记标题。这两种方法都通过公式2利用开源大语言模型进行训练；对于闭源大语言模型，可以借助小语言模型进行信息测量或大语言模型进行总结，按照公式3进步硬Prompt的信息密度，以加快推理速度。
根据压缩Prompt的类型，我们将Prompt压缩分为连续空间中的文本到向量（T2V）压缩和离散空间中的文本到文本（T2T）压缩。图5描述了四种主要的方法类型，T2V压缩将大语言模型视为一个压缩器，把关键文本信息压缩为更紧凑的向量表示。T2T压缩则直接测量标志的信息性，并在可继承的性能损失范围内尽可能压缩冗余信息。

图5. 连续和离散空间中的Prompt压缩。T2V压缩包罗基于知识蒸馏将体系或用户Prompt内化到模型参数中，以及以迭代或一次性的方式将硬Prompt的关键信息编码为软Prompt。T2T压缩分别包含提取式和抽象式方法，即不同粒度的剪枝和为获取富足信息性的择要。
4.1 文本到向量压缩

当语言模型处理文本Prompt时，将其转换为向量是必要步调。由于向量比文本的表示更麋集，因此天然会考虑将模型外部的离散文本Prompt压缩为模型内部的连续向量。在这种环境下，连续向量可以是模型的内部参数，称为内化；也可以是额外的软Prompt，称为编码。这种Prompt压缩不仅扩大了上下文窗口，而且在频仍重用相同Prompt时还能加快推理。
4.1.1 内化

这里，我们引入知识蒸馏（KD）[29]的概念，即把来自较大教师模型的知识转移到较小的学生模型中。受此启发，可以通过原始Prompt和压缩Prompt的输出分布之间的KL散度对语言模型进行微调，将文本Prompt中的知识提炼到模型参数中，从而实现Prompt功能的内化。
最初的研究尝试内化体系Prompt。为了开辟一个符合人类价值观的通用人工智能体系，Context Distillation[4]通过在带有上下文和输入的原始模型与仅带有输入的蒸馏模型之间进行知识蒸馏，将HHH（有用、诚实和无害）Prompt内化到语言模型中。Prompt Injection（PI）[18]提出了伪输入天生（PING）方法来内化体系Prompt，避免了推理过程中对重用Prompt的重复盘算。第一阶段利用在特定使命数据上训练的输入天生器根据Prompt天生伪输入。第二阶段在带有Prompt和伪输入的教师模型与仅带有伪输入的学生模型之间进行知识蒸馏。
厥后，研究人员开始在模型内部压缩用户Prompt的上下文。Snell等人[86]提出提炼Prompt中的三种特定类型的上下文：抽象使命指令、复杂推理和详细训练示例。基于教师和学生Prompt模板，将原始输入转换为两种具有显著分布差异的Prompt。训练语言模型对不同Prompt产生相同的响应，以实现内化。
测试了三种蒸馏方法，结果表明，一旦模型学习了特定使命Prompt的知识，它就可以在没有明确Prompt的环境下实行相应使命。Instruction Distillation[89]内化了三种复杂的指令技能：逐点排序、成对排序和列表排序。其目的是通过使大语言模型可以或许用更简单的指令进行高效排序，解决零样本相干性排序的低服从标题。
特殊是在推理方面，Distilling Step-by-Step[31]不仅使学生小语言模型可以或许从教师大语言模型中学习标签，还提取推理过程作为额外的监督信号，在多使命框架下将大语言模型的推理本领内化到学生小语言模型中，在较小的模型规模和较少的训练数据下实现了比尺度微调更好的性能。
对于检索增强天生使命，受提取模态特性的模态编码器CLIP[75]的启发，xRAG[16]将麋集检索中的文档嵌入重新定义为来自检索模态的特性，并利用即插即用的投影仪（模态融合桥）将其无缝集成到语言模型的表示空间中。xRAG有两个训练阶段：首先，大语言模型与投影仪提供的压缩表示内部兼容，并利用释义指令进行训练；然后，冻结的大语言模型与可训练的投影仪一起进行指令微调，以基于压缩表示实行特定的下游使命。还利用自蒸馏来增强xRAG在嘈杂环境中的顺应性。
4.1.2 编码

在上述内化方法中，压缩后的硬Prompt缺乏明确的载体，而编码方法则预定义得当大语言模型的软Prompt来表示硬Prompt，如多使命指令、冗长的上下文等。通常，有一个压缩器将硬Prompt编码为软Prompt，这些软Prompt可以有效地应用于各种下游使命。
Wingate等人[105]首先提出将硬Prompt压缩为软Prompt，硬Prompt被添加到输入序列的开头，而软Prompt被添加到输入嵌入的开头。通过最小化两个输出分布，将复杂硬Prompt中的重要信息提炼为简洁的软Prompt。固然这个训练过程成本较高，但在重用相同Prompt时可以降低推理成本。
有一系列基于Gisting[61]的工作，如图6所示，其目的是在不同Prompt之间实现更好的泛化。
Gisting[61]的目的是将多使命指令编码为要点标志，这些要点标志可以缓存并重复利用，以进步盘算服从。值得留意的是，它利用超调（HyperTuning）[68]中的元学习来预测要点标志，而不是利用梯度下降来更新软Prompt。

图6. Gisting系列工作基于经过特殊留意力机制训练的编码器或解码器，将硬Prompt的关键信息压缩为要点标志。上半部分的矩阵表示掩码计谋，其中灰色框表示尺度掩码，黄色框表示要点掩码。
详细来说，要点标志（Gist Tokens）首先被添加到词汇表和嵌入矩阵中，然后连接在指令之后，最后根据掩码进行微调，如图6 - (a)所示。Gisting可应用于仅解码器和编码器 - 解码器架构，可以或许实现高达26倍的Prompt压缩，减少40%的浮点运算量，加快4.2%的运行时间，并节省存储空间，同时输出质量的损失最小。
受信息论中最小描述长度（MDL）原理[27]的启发，Gist - COCO（Gist Conditioned Coding）[48]利用编码器 - 解码器架构将原始Prompt压缩为更短的要点Prompt。编码器经过微调，将要点标志压缩为要点表示，通过KL散度模仿原始Prompt的输出分布。解码器将这些要点表示转化为要点Prompt，以在不同的大语言模型之间实现高压缩率的泛化。除了压缩短指令，Gisting还可以压缩长上下文。
顾名思义，UltraGist[118]利用要点标志压缩超长上下文。它采取具有优化交错留意力机制的仅解码器架构，如图6 - (c)所示，渐渐将细粒度的上下文片断压缩为UltraGist标志，这些标志跟随下一个片断进行后续压缩。它显著允许随机采样压缩比来处理动态上下文，同时保持近乎无损的性能。
接下来，我们介绍一些专门用于压缩Prompt中长上下文的研究，如图7所示，这些研究在加快推理和减少GPU内存利用方面都具有优势。
AutoCompressor[17]采取循环记忆Transformer（RMT）[7]架构，利用择要标志将任意长度的上下文片断迭代压缩为择要向量。在后续迭代中，前一个片断的择要向量连接在下一个片断的前面，择要标志连接在末尾。此外，通逾期间反向流传（BPTT）方法[11]在压缩两步后停止对缓存的择要向量进行梯度更新，进一步降低盘算负载和GPU内存需求。在RAG体系方面，LLoCO（Learning Long Contexts Offline）[91]利用AutoCompressor将长文档压缩为多个存储在向量数据库中用于检索的择要嵌入。
另一类工作一次性压缩完备的上下文，而不是逐段迭代。通常有一个用于编码的可训练大语言模型（称为压缩器）和一个用于解码的冻结大语言模型（称为天生器）。In - context Autoencoder（ICAE）[26]对顺应LoRA的大语言模型进行微调，基于PWC（Prompt - with - Context）数据集，利用记忆标志将上下文编码到记忆槽中。带有记忆槽的天生器通过主动编码和文本续写使命进行预训练，以重建原始上下文，并应用于各种下游使命。500xCompressor[52]同样对顺应LoRA的大语言模型进行微调以压缩Prompt。不同之处在于，天生器通过再生使命进行预训练，并通干涉答使命进行微调，学习将压缩Prompt的KV值作为输入并基于此天生响应。500xCompressor可以压缩任何文本，答复各种类型的标题，并实现6倍到480倍的压缩率。在基于大语言模型的保举方面，Prompt Distillation（POD）[46]主要用于三种典范使命：序列保举、Top - N保举和可表明保举。骨干模型采取编码器 - 解码器架构，其中编码器利用额外的全词嵌入将离散的Prompt模板提炼为多个连续的Prompt向量，以确保项目ID的完备性，解码器根据这些Prompt向量天生保举。随后，RDRec[98]框架由两个阶段组成，用于合成训练数据并将推理过程内化到较小的模型中。在交互推理蒸馏阶段，大语言模型天生包罗用户偏好和项目属性的推理过程作为训练标签。在推理感知保举阶段，由POD[46]压缩的Prompt模板向量与用户和项目ID连接作为训练输入。RDRec在序列保举和Top - N保举中均实现了开始进的性能。
为了平衡训练成本、推理服从和天生质量，SelfCP（Self - Compressor）[25]仅压缩超出限定的Prompt，以降低压缩和天生的难度。SelfCP有三个组件：压缩器和天生器是冻结的大语言模型，它们之间的可训练连接器是一个1700万参数的线性层。与训练过程服从较低的AutoCompressor和输入长度有限的ICAE不同，SelfCP采取仅解码器的压缩器异步压缩每个超出限定的片断，并像AutoCompressor一样将它们连接起来。然后，对连接器进行微调，将记忆标签顶部的隐蔽状态投影为大语言模型可继承的记忆标志。对于上下文学习，直接提取从目的示例压缩得到的记忆标志更为高效。
这里，我们提供了不同编码方法之间的比较，如表3所示。我们发现，在仅解码器架构的压缩器中，软Prompt通常添加到输入序列的前面，而在编码器架构中则添加到后面，这与2.2节中提到的训练使命有关。

图7. 专门用于长上下文的代表性编码方法的差异。AutoCompressor利用择要标志迭代压缩上下文片断。ICAE一次性压缩完备的上下文。SelfCP仅基于连接器压缩超出限定的上下文片断。

表3. 不同编码方法的比较。
4.2 文本到文本压缩

连续空间中的文本到向量压缩侧重于使语言模型顺应天然语言。然而，压缩后的软Prompt通常缺乏人类可读性和可表明性。为了进一步促进大语言模型与人类之间的无缝交互，研究人员从人类理解天然语言的角度出发，考虑仅在离散空间中压缩Prompt。常见的做法是利用可访问的语言模型来测量硬Prompt的信息密度，然后在保持大语言模型性能稳定的条件下，尽可能缩短Prompt长度。我们将方法总结为两类，如图5右侧所示，剪枝可定义为提取式压缩方法，而择要则是抽象式压缩方法。
4.2.1 剪枝

剪枝指的是直接去除不同粒度（即标志、短语、句子）中信息含量较低的词汇单位，而不改变原始Prompt的语言表达。它通过利用较小的语言模型盘算信息熵，或训练判别器模型来确定是否抛弃Prompt中的某些标志，以此来衡量信息量。根据不同的过滤单位，有三种剪枝方案：粗粒度、粗到细粒度和细粒度。
粗粒度：
    示例级别：为了实现黑盒大语言模型的性能 - 服从权衡，DynaICL[125]训练一个元控制器，根据输入复杂度和盘算预算动态分配上下文示例的数量。
    句子级别：FilCo[102]采取三种词汇和信息论方法——字符串包含、词汇重叠和条件交错互信息（CXMI），将检索到的文档提炼为有用的上下文，用于训练上下文过滤模型和RAG使命的天生模型。为了保持上下文的语义完备性，CPC[54]训练一个上下文感知句子编码器，测量给定标题与上下文中每个句子之间的嵌入相似度（余弦距离），然后去除不相干的句子进行压缩。
    文档级别：AdaComp[119]训练一个压缩率预测器，根据查询复杂度和检索质量动态选择最优文档。
粗到细粒度：微软提出了LLMLingua系列研究，用于压缩Prompt以加快大语言模型推理。LLMLingua[34]没有将Prompt视为一个团体，而是初次以粗到细的方式分别压缩Prompt的不同组件（即指令、标题和示例）。首先，预备一个通过指令微调与大语言模型对齐的小语言模型，基于狐疑度（PPL）来测量标志的信息性。有一个预算控制器根据不同组件的重要性动态分配压缩率，其中指令和标题被预定义较低的压缩率，而示例则被分配较高的压缩率。粗粒度压缩减少示例的数量，细粒度压缩则在剩余示例中迭代过滤PPL较低的标志。顾名思义，LongLLMLingua[35]在LLMLingua框架的基础上进一步压缩长文档。有一个线性调理器根据粗粒度压缩率自顺应地控制细粒度压缩率。显著的区别在于，LongLLMLingua测量与给定标题相干的信息量，其中利用重新排序机制来辨认更多与标题相干的文档，并提出对比狐疑度来保留更多与标题相干的标志。最后，子序列恢复方法确保大语言模型响应中关键信息（如时间和地点）的完备性。通过这些本领，压缩后的Prompt可以以较低的成本获得更高的性能，同时减少端到端体系耽误。CoT - Influx[33]是一个即插即用的粗到细剪枝器，专门用于压缩由GPT - 4[1]天生的头脑链Prompt。示例剪枝器减少无用的头脑链示例，标志剪枝器过滤冗余标志。这两个剪枝器都是具有GELU激活函数的两层前馈网络（MLP），通过多目的奖励的强化学习进行训练，而不是反向流传。
细粒度：Selective Context[50]利用由因果语言模型盘算的自信息[83]来评估词汇单位的信息性，并通过基于百分位数的方法过滤冗余内容。值得一提的是，标志自信息通过预测下一个标志的概率来盘算，在词汇单位范围内累加，然后取平均值以获得短语和句子级别的自信息。实践证明，短语是最有效的过滤单位，它可以将推理内存利用减少36%，推理时间减少32%，同时性能下降可忽略不计，在服从和性能之间取得了良好的平衡。为了保留句法和语义结构，PROMPT - SAW[2]通过关系感知图提取具有关键信息的标志，并将它们恢复到压缩Prompt中，从而实现更好的可读性和可表明性。除了通过显式盘算信息量来修剪冗余标志外，还可以训练语言模型自行决定是否修剪某些标志。PCRL[39] 将Prompt压缩视为一个二元分类使命，由一个冻结的预训练计谋语言模型和基于强化学习的可训练多层感知器层来实行。该模型为Prompt中的每个标志分配包含或清除标签，奖励函数同时考虑压缩Prompt的老实度和缩短的长度。与利用单向仅解码器模型盘算信息熵不同，LLMLinga - 2 [66] 采取带有线性分类层的双向仅编码器模型作为压缩器，来决定每个标志是保留还是抛弃。这个小型但通用的压缩器在由GPT - 4 [1] 合成的蒸馏数据上训练10个epoch，显著提升了性能，压缩加快比进步了3 - 6倍，端到端耽误加快了1.6 - 2.9倍。
这里，我们在经典基准测试中对不同压缩粒度的剪枝方法进行了全面的实证分析，如表4所示。我们观察到，粗到细粒度的压缩似乎对复杂推理使命更有益，而细粒度压缩更得当长上下文使命。

表4. 各种剪枝方法在常用推理使命和长上下文使命中的大语言模型性能和Prompt压缩率（shot表示示例数量，×表示原始Prompt与压缩Prompt的比例）。值得留意的是，由于不同方法的实验设置存在差异，它们的性能可能无法直接比较。
4.2.2 择要

从本质上讲，择要是一种语义级别的压缩，可能会改变语言表达，但会保留原始含义。为确保压缩Prompt的大语言模型性能与原始Prompt没有显著毛病，以下将介绍有训练和无训练的两种方法。
第一种方法通常将原始输出作为监督信号来训练择要器。在RAG场景中，RECOMP（Retrieve, Compress, Prepend）[106] 在上下文集成之前，将检索到的文档压缩为文本择要。有两个以查询为重点的压缩器对多文档进行择要，以进步大语言模型的性能。提取式压缩器是一个1.1亿参数的双编码器模型，通过对比学习训练，用于选择与输入查询语义相似度高的句子。抽象式压缩器是一个7.75亿参数的编码器 - 解码器模型，通过知识蒸馏学习大语言模型的择要本领，实现选择性增强，而不是添加不相干的文档。Nano - Capsulator [19] 是一个压缩器大语言模型，通过择要指令对天然语言格式的Prompt进行语义压缩。原始Prompt和压缩Prompt之间的响应差异可视为奖励反馈，用于监控Nano - Capsulator的优化过程。还有一个严格的截断机制来限定压缩Prompt的长度。
第二种方法实时监控择要Prompt的信息是否足以正确响应。MEMWALKER [9] 通过交互式Prompt大语言模型来压缩长上下文，而不是进行微调。它由两个阶段组成，第一阶段迭代总结上下文片断以构建记忆树，第二阶段从根节点导航，搜索富足的相干信息来答复给定的查询。CompAct [114] 主要解决长上下文场景中的问答使命。压缩器大语言模型依次将检索到的文档片断总结为压缩Prompt，评估其信息是否完备以答复给定标题。如果不完备，压缩Prompt将与后续片断连接进行下一次迭代总结。CompAct可以作为现成的检索器和阅读器之间高效且灵活的插件式压缩器，实现高达47倍的压缩率。Style - Compress [73] 可以看作是一种结合了主动Prompt工程和Prompt压缩本领的高效少样本Prompt方法。一个较小的大语言模型（LLaMA - 2 - 7B [93]）通过依次利用多样化的人类编写风格进行Prompt，并结合使命特定的高性能示例进行上下文学习，迭代压缩原始Prompt。然后，由较大的大语言模型（LLaMA - 2 - 13B / GPT - 3.5）评估得到的最佳压缩Prompt及其比较优势被添加到示例池中，引导压缩器进行特定使命的Prompt压缩。
5 将来方向

尽管在大语言模型Prompt范畴已经取得了显著希望，但仍面临一些重大挑衅，这些挑衅也为将来研究提供了令人兴奋的机会。我们在综述的最后对将来有远景的研究方向进行了推测，特殊强调了与两种资源节省型Prompt计谋的交错点。同时，我们指出了将来研究方向中的一些开放性标题。
将两种资源节省型Prompt计谋结合为双赢解决方案：实际上，Prompt工程和Prompt压缩的优化目的之间存在差距。前者倾向于优化更短的指令，而后者主要处理更长的示例。头脑链（CoT）代表了这两个范畴的共同关注点，尤其是在推理中起着关键作用，而推理是寻求通用人工智能（AGI）的关键研究核心。将来的研究可以基于公式1和公式3改进头脑链Prompt框架。一种可行的选择是考虑直接嵌套这两种计谋。比方，首先迭代地自我改进头脑过程，然后从冗长的头脑链中压缩无用信息。大概，这两种计谋可以在单个迭代中同步实行，可能利用强化学习，将大语言模型的性能作为奖励信号来监督压缩过程。此外，计划平衡因子来整合公式1和公式3中的目的函数，有助于进行分析工作，比方讨论优化和压缩水平的相互束缚，以及如何平衡模型性能、盘算成本和推理速度等各种指标。
探究大语言模型与人类在理解天然语言方面的差异：固然Prompt压缩加快了大语言模型的推理，并且通常能保持或略微进步性能，但往往难以确保压缩Prompt的可读性和可表明性。因此，有机会在通用人工智能的配景下探索偶然义压缩Prompt与人类可表明压缩Prompt的意义。从人类理解角度定义的信息，是否是衡量为大语言模型提供的有效信息的公道尺度？研究这种差异可能会为优化Prompt以更好地与人类对齐提供有价值的见解。
进步高效Prompt的鲁棒性：优化后的指令通常实用于特定的下游使命，因此值得研究如何在主动优化过程中进步Prompt在不同数据分布之间的可转移性。比方，肴杂标志数据和未标志数据可能有助于学习更通用的Prompt。同样，T2V压缩Prompt通常是为特定语言模型定制的，在不进行微调的环境下难以顺应其他模型。一种潜在的解决方案是将软Prompt封装在一个即插即用的适配器中，增强编码表示的可转移性，实现高性能和通用性。
将来反思的开放性标题：受小语言模型推理本领的限定，主动Prompt工程在很大程度上依赖大语言模型来优化Prompt [121]。因此，需要同时考虑模型本领和盘算成本。固然主动Prompt工程显著减轻了人力劳动，但仍旧无法完全避免人工干预。详细来说，在指令优化过程中，初始迭代需要用户提供输入 - 输出示例或高质量的初始Prompt；在示例（尤其是头脑链）优化过程中，需要精心计划元Prompt内容或框架，以正确引导大语言模型天生符合的响应。
6 结论

本综述从减少资源消耗的角度，全面介绍了大语言模型高效Prompt方法的最新希望。我们全面回首了现有的两类高效Prompt方法：避免人力资源消耗的主动Prompt工程和节省盘算资源的Prompt压缩。值得留意的是，我们从数学角度提炼了每类方法的优化目的，并期望在将来将这两种资源节省计谋结合起来，用于轻量级大语言模型应用。我们进一步总结了每类方法的代表性方法，特殊强调了服从。最后，我们概述了将来研究的潜在方向，并提供了附录A.1中列出的开源高效Prompt项目。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)