受大型语言模型（LLM）快速发展的启发，LLM代理已发展到可以或许实行复杂任务的阶段。LLM代理现在广泛应用于各个领域，处理大量数据以与人类互动并实行任务。LLM代理的广泛应用展示了其显著的商业价值；然而，这也暴露了其安全和隐私漏洞。在当前阶段，非常需要对LLM代理的安全和隐私举行全面研究。本次调查旨在全面概述LLM代理面对的新出现的隐私和安全题目。我们首先先容LLM代理的根本知识，然后对威胁举行分类和分析。接着，我们讨论这些威胁对人类、环境和其他代理的影响。随后，我们回顾现有的防御计谋，末了探讨未来的发展趋势。此外，调查连合了多样的案例研究，以便更易于理解。通过强调这些关键的安全和隐私题目，本次调查旨在激发未来研究，以加强LLM代理的安全性和隐私性，从而在未来应用中提高其可靠性和可信度。
受到大型语言模型（LLM）快速发展的启发，LLM智能体已经发展到可以或许实行复杂任务的阶段。LLM智能体基于GPT-4 [67]、Claude 3 [6] 和Llama 3 [5] 等大型语言模型，利用其所训练的海量文本数据实行各种任务，从自然语言理解和天生到更复杂的决策制定、题目解决以及以人类方式与用户互动等[95]。LLM智能体在众多应用中都能见到，包罗虚拟助手、客户服务呆板人和教育工具，因为它们可以或许以高级水平理解和天生人类语言[22, 99, 115]。LLM智能体的重要性在于其可以或许通过主动化需要人类理解和互动的任务，转变各个行业。它们可以或许提高生产力、改善用户体验并提供个性化的资助。此外，它们从海量数据中学习的能力使得它们可以或许不断改进和顺应新任务，成为在快速发展的技术环境中的多功能工具[107]。
为了直观地展示LLM智能体怎样整合到现实场景中，可以参考图1所示的例子。此图展示了一个像素化的虚拟城镇**来模拟LLM智能体应用。该城镇包罗现实生存中的聚集场合，如市肆、办公室、餐馆、博物馆和公园。每个LLM智能体充当独立的居民，扮演各种角色并实行不同的功能，行为与社区中的真实人类非常相似。这些智能体可以手动控制以与特定角色互动并完成任务，或自主运行，按照自己的计划行事并通过在虚拟社区中的互动获取新知识。
LLM智能体的摆设由于其在各个领域的广泛应用，导致其用户基础广泛且具有高商业价值。鉴于LLM智能体仍处于早期阶段，其显著的商业和应用价值使其成为攻击者的有吸引力的目标。然而，由于LLM智能体建立在LLM之上，它们容易受到针对LLM的攻击。例如，越狱攻击可以绕过LLM的安全和检察功能，天生有争议的回应。这种威胁被LLM智能体继续，使得攻击者可以或许采取各种方法对智能体实行越狱攻击。然而，与静态LLM不同，LLM智能体具有动态能力，其即时响应可以影响未来的决策和举措，从而带来更广泛的风险。此外，LLM智能体的独特功能，例如在任务实行过程中思索和利用工具的能力，使其容易受到针对智能体的特定攻击。例如，当LLM智能体使用外部工具时，攻击者可以操纵这些工具的功能以泄漏用户隐私或实行恶意代码。根据智能体的应用领域，此类攻击可能对物理安全、金融安全或整体体系完整性构成严重威胁。
本文将LLM智能体面对的安全威胁分为继续自LLM的攻击和特定于智能体的独特威胁。继续自LLM的威胁可以进一步分为技术漏洞和故意的恶意攻击。技术漏洞包罗幻觉、灾难性忘记和误解等题目[107]，这些题目源于初始模型的创建并受到模型结构的影响。这些漏洞可能导致用户在长时间使用LLM智能体时观察到错误输出，影响用户信托和决策过程。此外，技术漏洞还可能为恶意攻击提供时机。目前，针对LLM的恶意攻击包罗数据盗窃和响应窜改，例如数据提取攻击和一系列调优的指令攻击[119]。
针对LLM智能体的特定威胁，我们受到了LLM智能体工作流程的启发，该流程包罗智能体的思索、举措和感知[40] 。这些威胁可以分为知识中毒、功能操纵和输出操纵。知识中毒涉及污染LLM智能体的训练数据和知识库，导致创建者故意参加恶意数据。这可以轻易地通过有害信息诱骗用户，甚至引导他们走向恶意行为。输出操纵干扰智能体的思索和感知阶段的内容，影响最终输出。这可以导致用户吸收到经过精心设计的私见或诱骗信息，从而误导他们。功能操纵利用LLM智能体使用的接口和工具实行未经授权的操作，如第三方数据盗窃或实行恶意代码。
LLM智能体的研究仍处于初期阶段。当前的研究主要集中在针对LLM的攻击上，而缺乏全面讨论智能体特定的安全和隐私题目标综述，这些题目呈现出更复杂的场景。举行本次调查的动机是提供LLM智能体相关隐私和安全题目标全面概述，资助研究人员理解和缓解相关威胁。
本次调查旨在：
- 强调当前威胁：辨认并分类LLM智能体面对的新兴威胁。
- 探讨现实世界影响：通过思量涉及人类、环境和其他智能体的现实场景，详细说明这些威胁的影响。
- 分析缓解计谋：讨论现有的缓解计谋，确保LLM智能体的负责任开发和摆设。
- 指导未来研究：作为未来研究工作的基础，旨在加强更先进架构和应用的LLM智能体的隐私和安全。
通过解决这些方面，本次调查旨在提供对LLM智能体所面对的独特挑战的深入理解，并促进更安全和可靠的通用人工智能（AGI）体系的发展。
本文的结构如下：第二部分将深入探讨LLM智能体的根本方面，包罗其定义、结构和能力。第三部分将辨认并分类LLM智能体面对的新兴威胁，讨论从基础LLM继续的威胁和特定于智能体的独特威胁，并为每个类别提供详细的示例和场景。第四部分将详细说明这些威胁的现实世界影响，探讨这些威胁怎样影响用户、环境和其他智能体，突出未减轻风险的潜在结果。第五部分将回顾现有的缓解计谋和解决方案，以应对上述威胁。第六部分将讨论当前研究的空白并提出未来的趋势。第七部分将总结全文。
怎样体系的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等题目热议不断。
究竟上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产物后，许多中小企业也连续进场！超高年薪，挖掘AI大模型人才！ 现在大厂老板们，也更倾向于会AI的人，平常程序员，另有应对的时机吗？
与其焦虑……
不如成为「把握AI工具的技术人」，毕竟AI时代，谁先实验，谁就能占得先机！
但是LLM相关的内容许多，现在网上的老课程老教材关于LLM又太少。以是现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学碰到困难的同砚们，我帮大家体系梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包罗LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, |
