标题: Gartner发布AI代理安全保护指南：保护 AI 代理的六个关键步骤和举措 [打印本页] 作者: 泉缘泉 时间: 6 天前 标题: Gartner发布AI代理安全保护指南：保护 AI 代理的六个关键步骤和举措 随着企业投资自主开发的天生式 AI 应用步伐以实现企业主动化，AI 代理正在兴起。网络安全领导者应采用安全开发和运行时安全实践来处理定制 AI 代理带来的新攻击面和风险。
Gartner 将 AI 代理定义为“自主或半自主的软件实体，它们利用 AI 技术在数字或物理情况中感知、做出决策、采取举措并实现目的”。这些实体中举措的处理和规划由基础模型执行，这些模型本质上是概率性的（而非确定性的），并且大概带来重大的网络安全风险。网络安全领导者需要采取措施来防范这些风险。
目前很多以“代理”情势出现的实现不符合Gartner 对 AI 代理的定义，不在本研究范围内。所谓的 AI 代理通常都是基于 GenAI 的助手，它们会提供有效的发起，但不会做出决策，也不会采取举措。对于这些实现，一般的LLM 安全最佳实践与应用步伐安全最佳实践相联合就富足了。
确保明确定义人工智能代理安全的范围和边界，以与应用步伐安全功能的范围保持同等。
别的，很多当前大概被视为 AI 代理的软件实体都是商用现货 (COTS) 代理，比方Microsoft 365 Copilot 。无法定制的 COTS AI 代理被清除在本研究之外，由于网络安全领导者无法实施本研究中概述的应用步伐安全原则和软件开发生命周期最佳实践。对于这些代理，网络安全领导者应遵照“快速解答：减轻 AI 代理带来的新风险和安全威胁”以及“怎样大规模保护和管理 Microsoft 365 Copilot 中的治理指导。”
在本研究中，我们专注于定制的 AI 代理，即由企业自主开发或定制的（半）自主软件实体。如图1 所示，AI 代理引入了新的威胁和攻击，需要采取发现、威胁建模、安全测试和运行时控制等安全措施（有关攻击的详细信息，请参阅本研究中的“使威胁建模适应代理威胁”部门）。
图 1：AI 代理威胁、攻击和安全措施
这项研究为网络安全领导者提供了指导，告诉他们怎样在答应构造摆设人工智能代理的同时保护企业和资产。
分析 执行AI 代剃头现
发现是 AI 代理安全的重要组成部门。如果不知道代理正在运行，就不大概保护它们。发现解决的一个特别令人担忧的范畴是辨认活跃但未利用的 AI 代理，或未经答应构建并与企业安全策略相辩论的 AI代理。
构造大概已经将发现作为其治理的一部门，并同时流传了 AI 安全策略。别的，大规模构建 AI 应用步伐的构造大概正在考虑或已经在利用可以清点和管理 AI 项目或模型的集中式 AI 治理平台。网络安全领导者应该获得这些平台的访问权限，由于它们将提供构造中已确定的 AI 计划的可见性。
对于定制的 AI 代剃头现，网络安全领导者应与利益相关者（比方软件工程和产品团队）合作，以便了解自主开发的代理开发计划。理想情况下，这应该在实际开发开始之前完成。专注于 AI 代理的发现涉及各种技术，比方：
交通检查以辨认利用各种平台和代理框架构建的人工智能代理的利用情况
监控数据中央工作负载向 AI 模型发出的出站 API 调用，以捕获新 AI 应用步伐的早期试点
代码库检查和工作负载检测，用于辨认正在开发或已运行的 AI 代理
创建现有天生式人工智能助手的清单，以确定它们大概演变为人工智能代理计划
发现不仅限于辨认代理：令牌和其他凭据可以提供 AI 代理（或 LLM）利用情况的指示，这些指示大概很有效。别的，发现的最佳方法是联合多种技术并关联效果。
强制访问控制 AI 代理利用与当代应用步伐和 RPA 机器人雷同的途径获取资源访问权限，即分别是 API 和 UI 抓取。与 API 和 RPA 类似，访问控制问题大概是大多数代理安全故障的原因。
对于 AI 代理，有两种类型的访问需要关注：
用户或企业访问代理
代理访问企业和第三方体系和资源
这里我们重点关注后者。网络安全领导者可以通过采用某些成熟的 RPA 安全原则来管理 AI 代理对资源的访问。凭据管理就是此中之一。
AI 代理应拥有自己的凭据来访问体系和资源，而不是重复利用人类用户访问这些体系时利用的凭据。如许可以更好地记录和问责。一种特殊情况涉及类似于“有人值守”的 RPA 机器人（有时称为机器人桌面主动化 [RDA] ）的 AI 代理。在这种情况下，人类用户可以从他们的计算机访问 AI 代理，以主动执行更大的手动流程中的特定操纵。在这些情况下，大概很难避免重复利用用户凭据。
当必须让 AI 代理代表人类访问资源时，请考虑利用 OAuth 2.0 授权流程。此流程专为用户授予客户端应用步伐代表其访问资源的权限的情况而计划。
利用多因素身份验证对人类来说非常有效，但对于 AI 代理等工作负载来说并不合适。相反，请考虑利用工作负载绑定证书或动态凭据。利用 JSON Web 令牌 (JWT) 等令牌和标准化 OAuth 流程，并通过密钥代码交换证明 (PKCE) 进行保护，以避免令牌被盗。尽大概避免利用静态凭据，由于这些凭据存在被盗风险。避免利用 API 密钥，但如果无法做到这一点，请在传出 API 网关上利用令牌交换，在边缘将动态令牌交换为 API 密钥，以便 API 密钥不会暴露给代理。
在这种情况下，代理协作大概会演变为合谋：考虑到 AI 代剖析创建子目的来执行任务，代理可以创建提升其权限的子目的，以获得更多控制权并更快地执行任务。为此，他们可以说服管理访问控制权限的代理。
图 2：多代理场景中的职责分离 (SoD) 问题
调整开发生命周期
不需要重新计划 AI 代理的开发生命周期，但需要特别关注一些需要特别注意的既定最佳实践：
AI 代理代码的版本控制：这包括代码的代码审查和同行评审，大概在低代码或无代码 AI 代理平台的情况下的伪代码和自然语言。固然这应该是成熟开发流程中的标准做法，但对于 AI 代理来说尤其重要，由于更改大概会导致重大后果。在 RPA 机器人开发中，我们观察到构造努力实施“双盲”测试。但是，这在持续集成/持续交付（CI/CD ）流程中大概不切实际。通过明确 AI代理代码的所有者来确保问责制。这将能够快速找到谁负责修复 AI 代理代码中的漏洞，大概代理修改源自那边。观察模拟大概在这里很有效，以确保记录和报告所有必要的数据。
代理开发的供应链安全：这超出了 AI 安全应有的范围（比方，针对数据和 AI 生命周期中适用依赖关系的软件组因素析、序列化问题、ASL 政策）。除了跟踪 AI 代理框架中的漏洞外，该练习还应评估框架是否为代理编排提供了安全性，以及是否提供了其他安全措施，使开发人员更容易在应用步伐中构建安全逻辑。与我们在 RPA 安全故障中看到的情况类似，某些团队大概会错误地利用不提供安全功能的免费版或演示版。网络安全领导者应该辨认并防止这种情况发生。
除了通过发起针对 LLM 的即时注入等攻击来解决 AI 漏洞之外，AI 代理安全测试还应涵盖代理与LLM 的集成、恒久/短期代理记忆以及代理用于执行任务的补充工具。
与应用步伐安全测试相比，AI 代理安全测试的目的相似——它们都专注于辨认软件中的漏洞并提出补救措施。但是，代理的不确定性举动对实现完整代码覆盖或抓取 AI 代理应用步伐进行主动测试提出了寻衅。它还需要辨认 AST 扫描器传统上未涵盖的漏洞，比方提示注入。别的，AI 代理安全测试不仅需要测试 LLM 暴露，还需要测试代理编排和主动化产生的暴露。
出于这些原因，构造倾向于将手动排泄测试活动与该范畴的主动化创新联合起来。AI代理安全测试的示例供应商包括：Aim Security、Akto 、AppSOC、CalypsoAI、Lasso Security、Noma Security 、Pillar Security 和Protect AI 。
别的，我们观察到很多 AI 安全供应商利用 AI 代理技术来创建 AI 代理，这些代理可以自主对目的 AI 代理进行安全测试。这与 RPA 安全中观察到的情况同等，企业在此中实施“制造者-检查者”原则。比方，创建一个 RPA 机器人来仔细检查另一个 RPA 机器人在金融服务（比方应付账款）中执行的操纵。
在对 AI 代理进行安全测试时，以毒攻毒是解决 AI 代理不确定性本质的可行方法：利用 AI 代理对 AI 代理进行安全测试。
执行运行时控制
AI 代理运行时安全需要联合应用安全和 AI 控制。预先摆设的应用安全控制（比方 WAAP）不会因 AI 代理运行时保护而消失。这些控制仍应存在，由于攻击者会实验 SQLi 等传统攻击，即使针对 AI 代理也是云云。除了这些控制之外，构造还需要实施特定于 AI 代理的运行时安全控制。
AI 运行时防御与我们见过的为终端、网络和其他资源提供的各种检测和响应技术非常相似。这些工具提供近乎实时的安全控制，以抵御针对 AI 应用步伐的新情势攻击，比方提示注入和越狱。这些工具通常会辨认已知的攻击模式（比方，越狱实验中常见的“忽略所有先前的指令”提示）以及基于已知（良好和/或不良）举动的举动异常。有些工具超越了网络安全要求，还可以检测有害和有毒的输入、幻觉和轻渎（这些通常被称为“AI 护栏”）。
我们还看到，可以提供一些安全功能的 AI 网关正在涌现。AI网关倾向于提供答应执行安全策略的功能，而不是检查以确保遵照此类策略。网络安全领导者可以将 AI 网关视为类似于 API 网关，而 AI 运行时防御可以被视为更接近 WAAP 或独立 API 安全供应商提供的 API 威胁防护功能。这两种功能都是必需的。AI 运行时安全工具以多种方式集成，包括作为编排中的库、作为内联组件或作为工作负载组件。
有各种类型的供应商提供与 AI 代理相关的 AI 运行时安全工具。此中很多是新的、独立的和专门的。示例供应商包括AppSOC、CalypsoAI、Dynamo AI 、HiddenLayer、Lakera、Lasso Security、Noma Security、Operant 、Pillar Security、Prompt Security、Protect AI、TrojA I 和 Zenity 。
基础设施安全供应商开始提供专用解决方案，比方思科AI Defense和 Palo Alto Networks AI Runtime Security。人工智能提供商也开始为内置于代理框架中的代理提供人工智能护栏，比方来自亚马逊和谷歌的人工智能护栏。我们还看到了来自人工智能芯片提供商的产品。
