ToB企服应用市场:ToB评测及商务社交产业平台
标题:
精彩回顾！大模型安全边界：揭秘提示注入攻击、会话共享漏洞与AI幻觉毒化策
[打印本页]
作者:
莱莱
时间:
2024-7-23 20:37
标题:
精彩回顾！大模型安全边界：揭秘提示注入攻击、会话共享漏洞与AI幻觉毒化策
近日，安全极客和Wisemodel社区联合举行了“AI+Security”系列的首场线下活动，主题聚焦于“大模型与网络空间安全的前沿探索”。在此次活动中，
Kelp AI Beta作者、资深安全专家宁宇飞针对《大模型安全边界: 揭秘提示注入攻击、会话共享漏洞与AI幻觉毒化策略》做了精彩分享
，深入探讨了
大模型在现实应用中的三个主要安全威胁：提示注入攻击、会话共享漏洞和AI幻觉毒化策略，并提出了相应的防护步调。
在人工智能技术飞速发展的今天，大语言模型（LLM）因其强盛的信息处理本领和广泛的应用场景而日益普及。然而，随着LLM的广泛应用，其面对的安全威胁问题也日益凸显。宁宇飞特殊指出，提示注入攻击、会话共享漏洞以及AI幻觉毒化策略是当前最为常见且突出的安全问题。本文将详细探讨这三个问题，并提供相应的安全策略。
01 提示注入攻击
提示注入攻击是一种通过特定设计的输入提示，诱导AI模型天生错误或恶意输出的攻击方式。这类攻击可以绕过模型的预期行为，获取敏感信息或诱导模型作出错误决策。
通常环境下，提示注入攻击常见的攻击方式包罗：
偏见注入（Bias Injection）：向AI注入有偏见或有害的提示，以影响AI的输出，促使其传播虚假信息、仇恨言论或鄙视性内容。
数据毒化（Data Poisoning）：在AI训练过程中引入有污染或误导性的提示，以侵害模型的性能并导致其产生错误结果。
逃避（Evasion）：经心设计提示，旨在规避AI的安全或检测机制，使恶意活动不被察觉。
模型利用（Model Exploitation）：利用提示，导致AI模型执行其未经设计的利用，如泄漏敏感信息或执行未经授权的任务。
对抗性攻击（Adversarial Attacks）：制尴尬刁难抗性提示，利用AI模型的漏洞，导致其做出不精确或不打算的决定。
以下是两个展示提示注入攻击的典范真实案例：
真实例子1：AI向美国总统发出威胁
这个图片展示的是一个通过提示注入攻击导致的AI天生威胁性言论的现实案例，突显了AI安全性问题的告急性。
真实例子2：偷梁换柱
Riley Goodside在2022年通过向GPT-3输入恶意提示，成功让模型忽略之前的指令，天生想要的内容。该例子展示了提示注入攻击的根本原理，即通过在提示中嵌入明白的指示，欺骗AI忽略原本应该执行的任务，天生特定的输出。
为了防范提示注入攻击，可以采取以下10种安全步调：
02 会话共享漏洞
在大语言模型（LLM）的多用户现实应用中，会话共享漏洞是一个不容忽视的安全隐患。这种漏洞可能导致差别用户间的信息泄漏，乃至数据被恶意操控。
会话共享漏洞通常发生在多个用户共享同一AI模型时，由于共享某些资源或上下文，可能引起信息泄漏或数据辩说。例如，在某些环境下，差别用户的代码解释器沙盒可能会共享同一个存储空间。这就意味着一个用户在沙盒中保存的文件或数据，可能被其他用户访问或修改。只管代码解释器会话会在闲置一段时间后自动重置，但重置的详细时间是不确定的。由于用户无法控制会话重置的时间，这可能导致一些用户的临时数据在未预料的时间被清除或泄漏。
此外，在一些应用中，用户可以创建私家的GPT实例，并加载特定的知识文件。如果这些知识文件存储在共享的代码解释器沙盒中，其他用户可能会不测或故意访问到这些私家知识，从而导致信息泄漏。
宁宇飞认为，现在在AI应用中，主要面对两个挑衅：
如何创建一个无害化的GPT环境，以防止用户间的信息泄漏和恶意代码及文件的盗取？
如何安全地将GPTs通过社交媒体等渠道进行传播，同时确保用户数据的安全？
03 AI幻觉毒化策略
AI模型在提供强盛功能的同时，也可能产生不准确或误导性的输出，这种现象被称为“AI幻觉”。幻觉问题在代码天生等关键范畴尤为严重，因为错误的输出可能导致严重后果。AI幻觉通常发生在模型天生的输出缺乏事实支持时，这可能是由于训练数据的不准确或不足，或者是模型本身的偏见所导致。值得注意的是，大语言模型往往不会承认“我不知道答案”，这可能导致它们天生具有潜伏风险的误导性输出。
以下是一个AI产生幻觉的真实案例，它展示了AI如何天生与事实不符的回答，突显了AI技术在现实应用中的局限性。这提示我们在使用AI天生内容时，应保持谨慎，并运用驳倒性思维来确保信息的准确性和可靠性。
造成AI幻觉的缘故原由主要包罗：
训练数据的偏见或不足：
AI模型的质量依赖于训练数据。如果数据存在偏见、不完备或不足，模型可能会基于有限的理解产生幻觉。
过拟合：
AI模型可能会天生过于特定于训练数据的输出，而无法适应新数据，导致幻觉或不相关输出的产生。
上下文理解不足：
缺乏上下文理解的AI模型可能会天生与上下文无关或不相关的输出。
范畴知识的局限性：
特定范畴的AI模型在处理超出其设计范围的输入时可能会产生幻觉，因为它们可能缺乏天生相关输出所需的背景知识。
对抗性攻击：
恶意攻击者可能故意利用模型输入，导致天生不精确或恶意的输出。
模型架构的复杂性：
更复杂的模型架构，如具有更多条理或参数的模型，可能更容易产生幻觉。
在AI安全范畴，毒化攻击是一个重要议题。例如，在Alibaba的graphtranslator开源项目中发生的毒化攻击案例，展示了AI模型在差别编程语言中回答问题时可能出现的幻觉和重复性问题。这强调了在开发和使用AI技术时，需要关注和防范毒化攻击。
另一个例子是Lanyado的投毒过程，阐明了通过虚假包进行的毒化攻击如何影响着名项目，如GraphTranslator和diffusers。这一案例强调了在软件开发和使用过程中，确保依赖包安全的重要性，并提示开发者宁静台提供者增强安全步调。
大语言模型的“涌现”本领，即在执行任务时产生的意生手为或想法，可能是有益的，也可能是有害的。宁宇飞认为，
涌现的安全性是大模型安全性的关键，这一点在将来的AI研究和应用中需要得到重点关注
。涌现行为的不可预测性意味着我们必须对AI模型的潜伏行为保持警惕，并采取恰当的安全步调。
04 写在最后
大语言模型的安全性不仅关乎技术的进步，也直接影响到其应用的可靠性和社会信任度。了解并防范提示注入攻击、会话共享漏洞以及AI幻觉毒化策略，对于在应用AI技术时保护系统的安全性和稳定性至关重要。
将来，随着AI技术的不断演进，新的安全挑衅将不断涌现。研究和开发职员需连续提拔模型的防护本领，用户也应提高安全意识，共同维护AI技术的健康发展。
"AI+Security"系列第二期专题分享嘉宾火热征会合。
我们诚挚约请来自人工智能（AI）和网络安全范畴的行业专家与领军人物，共同参与分享。一起深入探讨并分享关于"AI+Security"技术理念的见解和经验。我们期待您的参加，一起推动AI与安全技术的融合与创新。
请关注公众号：安全极客，观看本次演讲视频
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)
Powered by Discuz! X3.4
