再看自顺应RAG方法:SEAKR|PIKE-RAG|DeepRAG

打印 上一主题 下一主题

主题 1667|帖子 1667|积分 5001

当大语言模子开始"猜疑人生":一场关于知识检索的AI内心戏

各位看官,今天我们要聊一个AI界的"哲学困难"——当大语言模子忽然意识到自己可能是个"半瓶子醋",会发生什么奇妙反应?
想象一下这个场景:某天深夜,ChatGPT正对着用户提问"怎样造火箭"陷入沉思。它的大脑(参数)里明明只有《星际穿越》的剧情和马斯克的推特碎片,却忽然涌起一股莫名的自负:“这个问题简朴!燃料箱+推进器+点火=送人类上火星!”
——这就是AI圈闻名的"幻觉发作"现场。
传统解决方案就像给AI配了个随身图书管理员(RAG系统),每次提问都往它手里塞百科全书。但很快人们发现:


  • 问"今每天气"时AI抱着《情形学概论》瑟瑟发抖
  • 问"1+1便是几"时AI在《高等数学》里溺水挣扎
  • 最惨的是问"晚饭吃什么",AI居然掏出了《分子料理指南》和《有机化学手册》
这时候,三位"AI心理医生"带着创新方案闪亮登场:

  • SEAKR:给AI装了个"自我猜疑探测器",当模子内心OS"这题我虚…"时自动触发知识检索
  • PIKE-RAG:像室内设计师一样,先搞清用户到底想要宜家简约风照旧巴洛克奢华风
  • DeepRAG:变身外卖骑手,知道抄近路送"常识快餐",绕远路取"专业知识外卖"
下面请欣赏AI界的《楚门的世界》——当大语言模子开始猜疑自己的影象,它们会怎样在这个布满知识迷雾的世界里寻找本相?且看正文分解…
(忽然被AI助理打断:“主人您这段开场白…确定不会让读者觉得我们编辑部集体嗑药了吗?”)
释放LLM的自我意识:SEAKR怎样通过自顺应知识检索提升问答性能

随着大语言模子(LLM)的遍及,一个关键缺陷渐渐暴露:幻觉问题——模子生成的内容听起来合理,实则与事实不符。这一问题在模子内部知识不足时尤为严峻,导致模子纵然信心满满,输出效果仍是错误的。
传统检索加强生成(RAG)方法试图通过为每个查询集成外部知识来缓解这一问题。然而,这种方法效率低下,甚至可能适得其反,尤其是当检索到的知识布满噪音或无关时

图1:自顺应RAG主要关注1)何时检索,以及2)怎样整合检索到的知识。泉源:SEAKR。
本文介绍了一项名为“SEAKR”的新研究。该研究提出了一个创新概念:使用模子对不确定性的自我感知,动态决定何时以及怎样检索和整合外部知识,从而在效率和准确性之间实现最优平衡,如图1所示。
解决方案

概述


图2:SEAKR的整体框架。泉源:SEAKR。
与现有自顺应RAG方法不同(后者仅依靠模子输出来判定是否必要检索),SEAKR使用了模子的自我感知不确定性——这一指标直接提取自LLM的内部状态。这使得SEAKR能更准确地评估模子是否具备足够知识往返答问题,或是否必要外部信息支持。
SEAKR基于三大核心组件构建:


  • 一个检索并排序相关知识片断的搜索引擎
  • 一个处理输入上下文并生成续写的LLM
  • 一个量化LLM输出置信度的自我感知不确定性估计器
SEAKR采用迭代的思维链(CoT)推理策略,根据LLM的内部不确定性动态决定是否检索外部知识。若需检索,SEAKR会对知识重新排序,选择最相关的片断,并将其与

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

滴水恩情

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表