AI Agent带来哪些安全风险？怎样应对？

AI Agent是一种具有自主性或半自主性的智能实体，可以或许利用人工智能技术在数字或物理环境中感知、决议、接纳行动并实现目标，这种能力使得AI Agent有大概彻底改变各行各业和各种环境。
大模型缺少在最少的人类监督下自主行动的能力，以及在复杂环境中顺应和实行目标的能力，基于大模型的AI Agent利用大模型理解、思索输出的“专家能力”，并附加规划、影象、实行、工具调用能力，可以替换大量人工实行，消除大模型和真实天下沟通的障碍，解决大模型落地的“末了一公里”。
01
AI Agent带来的新风险
AI Agent具有巨大的应用潜力，但同时也带来了新的安全风险。传统AI模型和应用的安全风险通常限于模型输入、模型处理和模型输出、编排层的软件毛病以及托管它们的环境。除了这些威胁外，AI Agent还引入了新的人工智能风险。
在使用AI Agent时，安全风险范围扩大到了AI Agent触发和到场的一系列变乱和交互中，这些通常对人类或体系操纵员来说是不可见的，也无法举行阻止。

AI Agent在实行任务时大概引入的一系列安全问题，包罗数据安全、资源管理、恶意活动、编码错误、供应链安全以及恶意代码的传播等，这些问题需要通过适当的安全措施举行解决。AI Agent带来的安全风险包罗：
· 数据袒露或外泄：AI Agent在实行任务的过程中大概会在任何环节袒露或外泄敏感数据；
· 过度消耗体系资源： AI Agent在实行和交互的过程中大概会无控制地消耗大量体系资源，无论是故意照旧无意，这大概导致体系资源过载；
· 未授权或恶意活动： AI Agent大概会故意或无意地实行未授权或恶意的活动，例如恶意步伐或人类的Agent“挟制”行为；
· 编码逻辑错误： AI Agent大概会由于编码逻辑错误导致数据泄露或其他威胁，这些错误大概是未经授权的、不测的或恶意的；
· 供应链风险： 使用从第三方网站下载的库或代码用于AI Agent大概会带来供应链风险，这些代码大概被植入了恶意软件，旨在实行恶意任务；
· 恶意代码的传播和复制： 使用主动化的Agent流程大概会传播和复制恶意代码，以及通过检索加强天生（RAG）对Agent举行“投毒”触发恶意行为。
02
AI Agent安全风险的应对措施
为了应对上述AI Agent安全风险，企业应接纳如下措施：
第一，监控全部AI Agent的行动和信息流；
第二，检测和标志异常的AI Agent行动；
第三，尽大概地使用主动化手段实时修复问题。

这些措施的访问权限应授予给IT、安全或任何其他需要管理AI Agent风险的管理员用户。
（1）监控全部AI Agent的行动和信息流
为了检测异常和违规行为，需要给AI Agent的行动、流程、连接、数据袒露、信息流、输出和响应提供一个全面的仪表盘视图。同时，还需要支持对Aengt的全部交互和活动举行不可更改的审计跟踪。
仪表盘视图应支持对以下内容的可见性：
· 输出的使用情况：AI Agent的输出是怎样随时间被组织使用的；
· AI Agent的使用场景：AI Agent被用于哪些具体的用例；
· AIAgent的交互意图：例如Agent的目标、行为和通讯方式；
· 是否遵循企业政策：AI Agent的体现是否符合企业可接受的使用政策；
· 是否遵循安全、隐私和法律要求：AI Agent的体现是否符合相干的安全、隐私和法律要求；
· 将AI Agent的行动与企业身份和访问管理（IAM）体系集成，确保可以确定访问权限，并实施最小权限访问控制。
（2）检测和标志异常的AI Agent行动
检测并标志那些异常的AI Agent行动以及违背了企业相干政策的行动。企业在建立了仪表盘视图、确定了预期的行动基线后，就可以开始检测异常的交易和行动。
考虑到AI Agent交互的速率和数目，人工无法举行全部的监督和修复，因此应尽大概对异常交易举行主动修复；对于无法主动修复的异常情况，应该立即暂停，并转给人工举行检察和修复。
（3）尽大概地使用主动化手段实时修复问题
修复措施应包罗适当的限制和缓解措施：
· 数据脱敏：当企业界说的敏感数据（例如，个人身份信息或机密的非布局化信息）通报给Agent体系时，举行脱敏处理；
· 实施最小权限访问：尽大概实施最小权限访问控制。如果检测到违规行为且无法主动修复，则阻止访问，并将问题转发给人工检察息争决；
· 支持特定Agent威胁指标的拒绝列表：基于企业数据相干的威胁情报制定一个特定Agent威胁指标的拒绝列表，Agent在行动时需要根据列表举行验证；
· 支持文件和文件类型的拒绝和接受列表：界说Agent可以访问和不可以访问的文件和文件类型，包罗在RAG中支持Agent工作流的文件；
· 实施监控和反馈循环：通过实施监控和反馈循环，辨认由于不准确性导致的不需要的行动。
读者福利：如果各人对大模型感爱好，这套大模型学习资料一定对你有效
对于0基础小白入门：
   如果你是零基础小白，想快速入门大模型是可以考虑的。
  一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习筹划和方向。
  包罗：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型册本PDF。带你从零基础体系性的学好大模型！