【大语言模型】ACL2024论文-22 大型语言模型中的自信心：探究大型语言模型 ...

【大语言模型】ACL2024论文-22 大型语言模型中的自信心：探究大型语言模型天生回答的自信心与概率一致性

---

目录


  

---

大型语言模型中的自信心：探究大型语言模型天生回答的自信心与概率一致性
择要

本文探讨了大型语言模型（LLMs）在天生回答时的自信心与概率一致性问题。随着LLMs在各个领域的广泛应用，理解模型自我评估的自信心对于输出的可靠性至关紧张。研究者提出了“自信心-概率一致性”概念，将模型内部的自信心（通过token概率量化）与模型在被明白询问时表达的自信心联系起来。通过使用不同的数据集和提示技术，研究者分析了模型内部和表达的自信心之间的一致性。研究发现，OpenAI的GPT-4在多种任务中显现出最强的自信心-概率一致性。这项工作有助于促进LLMs应用中的风险评估，并进一步理解模型的可信度。

研究配景

近年来，LLMs如GPT、PaLM、Chinchilla和LLaMa等在天然语言处理（NLP）任务中显现出卓越的性能，并在聊天呆板人等领域引起了公众的极大兴趣。随着这些模型被整合到医疗、法律和教育等高风险领域，对它们的举动和可信度进行关键评估变得越来越紧张。当前的提示技术，如自我一致性、头脑树和多代理辩论，严重依赖于模型对其推理过程的自我评估。然而，如果模型表达的自我推理与其真正的内部自信心存在不一致，这些技术可能会产生误导性效果，削弱它们的实际效用。
问题与挑衅

LLMs的一个主要挑衅是“幻觉”问题，即模型产生看似公道但事实上错误或编造的输出，并伴随着高表达自信心，使得非专家用户难以区分它们与可靠输出。此外，理解模型的内部自信心对于用户在现实世界应用中的信任和决议至关紧张。
如何解决

研究者通过定义口头确定性（模型对其回答的明白表达的自信心）和内部自信心（通过token概率量化）之间的关系，来解决这一问题。他们提出了一种新的框架来评估LLMs的透明度和可靠性，即自信心-概率一致性。研究者使用一系列问题数据集，探索了内部和口头表达的自信心之间的相关性，并分析了模型特定参数（如温度）对表达自信心和回答正确性之间关系的影响。
核心创新点

• 自信心-概率一致性概念：提出了一种新的框架来评估LLMs的透明度和可靠性。
  
• 多样化的LLM架构研究：涵盖了多种LLM架构，使用提示技术鼓励模型自省，揭示了不同的一致性动态。
  
• 自信心与精确性关系的分析：进一步分析了模型表达的自信心与回答正确性之间的联系，并为详细的错误分析开辟了一种不一致性的分类体系。
  

算法模型

研究中使用了多种LLMs，包括OpenAI的GPT-3及其变体（如InstructGPT和RLHF版本），以及最新的GPT-4，还有开源模型，如Microsoft的Phi-2-2.7B和HuggingFace的Zephyr-7B。研究者通过结构化提示来天生回答，并提取选定答案的token概率以估算内部自信心。此外，他们还构建了信心查询提示（CQP），以获取模型对其回答的口头确定性。

实验效果（包罗紧张数据与结论）

实验效果显示，GPT-4在全部数据集上一致性表现最佳，特别是在QASC数据集上，相关系数接近0.5，显示出中等水平的相关性。相比之下，OpenbookQA和ARC数据集的一致性最低，但仍然高于其他模型版本。这些发现表明，GPT-4可能在模型架构和训练方法上有所进步，包括规模和可能更精细的人类反馈集成。
相关工作

很多研究探讨了LLMs的自信心估计问题。一些研究强调了模型对输入厘革的敏感性，或在神经呆板翻译中使用提示来表达自信心。其他研究使用提示工程来表达口头概率，或对模型进行微调以进步问答正确性概率。此外，还有研究使用语义熵等指标来量化不确定性，或评估模型对非典型输入的过分自信。本研究与这些工作不同，专注于分析口头确定性与token概率之间的一致性。
后续优化方向

• 更广泛的模型覆盖：研究者指出，他们的工作受限于可以大概访问token级别log probs/logits的模型，因此必要未来的研究来探索更广泛的模型。
  
• 语言特异性限制：研究主要关注英语，可能必要进一步研究以理解LLMs在计划用于具有更复杂句法结构的语言时的自信心-概率一致性。
  
• 元级推理：研究计划必要模型可以大概查询其自身的自信心，这可能引入与模型在主要任务中的‘基础’推理不一致的复杂偏见。
  
• 提示技术的依赖性：研究效果在很大水平上依赖于精心构建的提示技术，因此必要开辟可以大概在不显着依赖提示技巧的情况下展示自信心-概率一致性的模型。
  
• 模型信心与提示正确性：研究的主要目标不是优化模型回答的正确性，而是探索模型内部和口头表达的自信心之间的关系。
  

---

后记

如果您对我的博客内容感兴趣，欢迎三连击 ( 点赞、收藏和关注）和留下您的批评，我将持续为您带来盘算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和盘算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。