AIGC 013-CoT用思维链发掘自回归语言模型的潜在本领

AIGC 013-CoT用思维链发掘自回归语言模型的潜在本领

---

  

0 论文工作

纯自回归式语言模型，原来并不具备良好推理本领，特别是在数学题目的推理。但是现在的天生模型是能实现一些数学的推理的。研究者以为当模型充足大他实际上能学习到许多潜在本领，怎样让本领得以涌现也是一个重要题目。
思维链就是这方面的工作，研究怎样去发掘他的潜能。CoT（Chain of thought），思维链，普通说就是引发LLM像人类一样有一个“思考”前摇动作来回答一些复杂性题目，这样能资助模型有引导性提升推理本领。
这篇论文探索了天生思维链——一系列中心推理步调——怎样明显提高大型语言模型实行复杂推理的本领。特别是，展示了这种推理本领怎样通过一种简朴的方法，称为思维链提示，在充足大的语言模型中天然地涌现，其中一些思维链演示作为提示中的示例提供。对三个大型语言模型的实行表明，思维链提示提高了模型在算术、常识和符号推理任务上的性能。实证增益可能非常明显。
在我的影象中这个论文是我了解到的最早期的思维链论文，后面的对话模型等练习中都会使用思维链的头脑。
paper
1 论文方法

这篇论文的焦点工作是提出了一种名为“链式思考提示”（Chain-of-Thought Prompting）的方法，旨在提升大型语言模型在复杂推理任务中的表现。具体来说，该方法通过在提示中参加一系列中心推理步调的示例，引导模型逐步进行推理，最终得出答案。
提出链式思考提示方法： 该方法的焦点头脑是，在给语言模型提供少量的示例时，不但展示输入和输出，还参加中心的推理步调（即思维链），让模型学习怎样分解题目并逐步推理。
实行验证： 作者在三个大型语言模型（包括PaLM）上，对算术、常识和符号推理等多种任务进行了实行，结果表明，链式思考提示方法在这些任务上都能明显提升模型的性能，尤其是那些需要多步调推理的复杂任务。
深入分析： 论文还通过人工分析模型天生的推理链，研究了该方法起作用的原因，以及模型在推理过程中出现的错误范例，并发现随着模型规模的增大，链式思考提示的效果会更明显。
鲁棒性分析： 论文还探究了链式思考提示方法在不同标注者、不同示例、不同示例次序和不同语言模型上的鲁棒性，结果表明，该方法在多种情况下都表现出较好的效果。
2 实行结果

有用的引导，资助模型思考。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。