ReAct论文阅读条记总结

ReAct：Synergizing Reasoning and Acting in Language Models

配景

近来的研究结果暗示了在自主体系中团结语言推理与交互决议的可能性。

• 一方面，经过得当Prompt的大型语言模型（LLMs）已经展示了在算术、常识和符号推理任务中通过多步推理推导问题答案的新兴能力。然而，这种“思维链(CoT)”推理是一个静态的黑箱，由于模型依靠其内部表示天生思维，并未与外部天下创建接洽，这限制了其举行反应性推理或更新知识的能力。这可能导致诸如事实幻觉和推理过程中的错误传播等问题
  
• 另一方面，近期的研究探索了利用预训练语言模型在交互环境中举行规划和行动的可能性 。然而，这些方法并未利用语言模型举行高条理目标的抽象推理，也未维护一个工作记忆以支持行动。
  

上图表示4种提示方法的比较。(1a）表示普通方法，(1b)表示CoT，即只有Reason。(1c)表示仅行动，(1d)表示ReACT，即Reason+Act

上图表示基于AlfWorld办理方案的Act和ReAct方法比较。(2a)表示只有行动，(2b)表示ReAct
研究目标、动机

如何以协同的方式团结推理与行动，以及这种团结是否能带来相较于单独推理或行动的体系性上风。
成果

• 作者提出了ReAct，这是一种将推理和行动与语言模型相团结的一般范式，用于办理差别的语言推理和决议务。 提示LLMs以交错方式天生与任务相关的语言推理跟踪和动作，这允许模型实验动态推理以创建、维护和调整高级行动操持（Reason to Act），同时还与外部环境（比方维基百科）交互以将其他信息纳入推理（Act to Reason）。
  
• 在问答、事实验证、基于文本的游戏和网页导航举行评测，证明了提出方法的有效性，与精心设计的CoT相竞争。总体上最好的方法是ReAct和CoT的组合，允许在推理过程中同时利用内部知识和外部获得的信息。
  

收获

• ReAct思想简述：
  思考：涉及对下一个行动举行推理。在这一步必要评估当前环境并考虑可能的行动方案。
  行动：基于思考的结果，决定采取什么行动。
  观察：实验行动后，必要观察并网络反馈。对行动结果举行评估，它可能影响或改变下一轮思考的方向。
  

1.   While(目标未完成)：
2.           Thought；
3.           Action；
4.           Observation

复制代码

• 对于ReAct来说，采取行动检索准确和最新的知识至关重要
  
• ReAct+CoT团结效果会更好一些
  
• 存在的问题。尽管ReAct可以进步模型的可信度，但这种布局束缚也低落了其制定推理步骤的灵活性，导致推理错误率高于 CoT。 且ReAct具有一种常见错误模式，会重复天生之前的想法和行动，作者将其归类为 “推理错误” 的一部分，由于模型未能推理出精确的下一步行动并跳出循环。
  
• 此外作者对这四种方法在Prompt和微调（基于3000样本点对模型做了微调）上举行了测试，表明ReAct更适合微调后的场景。可能是前者本质上是教模型记住（可能是幻觉的）知识事实，而后者教模型如何（推理和）行动以访问维基百科的信息，这是一种更通用的知识推理技能。
  
  
  
  

举例四种方式的Prompt案例

• normal
  

1.   Question:  哪位演员出演了《肖申克的救赎》，并且还出演了另一部由弗兰克·德拉邦特执导的电影？
2.   Answer： 摩根·弗里曼
3.   Question:《肖申克的救赎》的导演是谁？
4.   Answer：弗兰克·德拉邦特
5.   Question:摩根·弗里曼在《绿色奇迹》中扮演了什么角色？
6.   Answer：他饰演了角色“艾利斯·波伊德·瑞德”。
7.   Question:《绿色奇迹》是哪一年上映的？
8.   Answer： 1999年

复制代码

• Act
  

1.       Question: 哪位演员出演了《肖申克的救赎》，并且还出演了另一部由弗兰克·德拉邦特执导的电影？
2.       Action 1：查询关于《肖申克的救赎》的文档。
3.       Observation 1: 《肖申克的救赎》是一部1994年的电影，由弗兰克·德拉邦特执导，主演包括蒂姆·罗宾斯和摩根·弗里曼。
4.       Action 2：查询弗兰克·德拉邦特的其他电影。
5.       Observation 2: 弗兰克·德拉邦特还执导了《绿色奇迹》，这部电影于1999年上映，主演包括汤姆·汉克斯和摩根·弗里曼。
6.       Action 3：确认摩根·弗里曼是否同时出演了这两部电影。
7.       Observation 3:是的，摩根·弗里曼在这两部电影中都有出演。
8.       Final Answer：摩根·弗里曼

复制代码

• CoT
  

1.       Question：哪位演员出演了《肖申克的救赎》，并且还出演了另一部由弗兰克·德拉邦特执导的电影？
2.       Thought：首先，我需要找到《肖申克的救赎》的主演名单，并确认导演是弗兰克·德拉邦特。
3.       Answer： 主演包括蒂姆·罗宾斯和摩根·弗里曼，导演是弗兰克·德拉邦特。
4.       Question：弗兰克·德拉邦特还执导了哪些电影？
5.       Thought：我需要查找弗兰克·德拉邦特的其他作品，并检查是否有相同的演员出演。
6.       Answer：弗兰克·德拉邦特还执导了《绿色奇迹》，主演包括汤姆·汉克斯和摩根·弗里曼。
7.       Question：是否有演员同时出演了《肖申克的救赎》和《绿色奇迹》？
8.       Thought：根据以上信息，摩根·弗里曼在这两部电影中都有出演。
9.       Answer： 摩根·弗里曼

复制代码

• ReAct
  

1.       Question：哪位演员出演了《肖申克的救赎》，并且还出演了另一部由弗兰克·德拉邦特执导的电影？
2.       Thought 1：我需要先找到《肖申克的救赎》的主演名单和导演信息。
3.       Action 1：查询关于《肖申克的救赎》的文档。
4.       Observation 1：《肖申克的救赎》是一部1994年的电影，由弗兰克·德拉邦特执导，主演包括蒂姆·罗宾斯和摩根·弗里曼。
5.       Thought 2：接下来，我需要查找弗兰克·德拉邦特的其他电影，并确认是否有相同的演员出演。
6.       Action 2：查询弗兰克·德拉邦特的其他电影。
7.       Observation 2：弗兰克·德拉邦特还执导了《绿色奇迹》，这部电影于1999年上映，主演包括汤姆·汉克斯和摩根·弗里曼。
8.       Thought 3 : 现在我可以确认，摩根·弗里曼同时出演了《肖申克的救赎》和《绿色奇迹》。
9.       Final Answer : 摩根·弗里曼

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。