今天小李哥将开启全新的技术分享系列，为大家先容天生式AI的安全解决方案设计方法和最佳实践。近年来天生式 AI 安全市场正迅速发展。据IDC预测，到2025年全球 AI 安全解决方案市场规模将突破200亿美元，年复合增长率超过30%，而Gartner则预估到2025年约30%的网络攻击将利用天生式AI技术。与此同时，Capgemini的调查显示，近74%的企业认为AI驱动的安全防护至关重要，加上Cybersecurity Ventures报告指出，与天生式AI相关的安全事件年增长率超过20%，这充分表明企业和安全供应商正面临日益严峻的安全挑衅，并加大投入以构建更全面的防护体系。今天要先容的就是怎样设计天生式AI应用安全解决方案，抵御OWASP Top 10攻击。未来也会分享更多的AI安全解决方案，欢迎大家关注。
目前我们生活中有各色各样的天生式AI应用，常见的场景之一就是天生式AI对话助手。然而在摆设之前，通常还要对应用进行评估，此中包罗了解安全态势、监控和日志记载、成本跟踪、弹性等问题。在这些评估中，安全性通常是最高优先级。如果存在无法明确辨认的安全风险，我们就无法有效解决这些风向，这大概会阻碍天生式AI应用向生产情况摆设的进度。
在本文章中，小李哥将向大家展示一个本身设计的天生式应用的真实场景，并演示怎样利用 OWASP安全框架，基于大语言模子应用常见的Top 10安全攻击来评估应用的安全态势，以及实施缓解措施。下图就是一个天生式AI应用的安全解决方案最佳实践，我们将继续从左到右详细先容本方案中使用到的安全方案细节。
应用控制层
应用层通常容易遭受到诸如LLM01:2025提示注入、LLM05:2025输出处置处罚不当以及LLM02:2025敏感信息泄露等风险。恶意攻击者大概会频仍实验恶意的提示词输入来操控AI模子，从而大概通过AI模子泄露敏感信息或危及卑鄙的应用体系。
在我们开头的架构图中，应用层的服务器就是亚马逊云科技无服务器盘算服务Lambda。它通过从 API Gateway中提取事件的数据部门并进行语法和语义校验，实施严酷的输入验证。通过对输入请求进行清洗、应用白名单和需要组织的关键字黑名单，并预定义正当请求的格式和规则进行验证，使用Lambda服务有助于防止LLM01:2025提示注入攻击。别的通过将user_id字段转达到卑鄙应用中，可以使卑鄙应用组件降低敏感信息泄露的风险，从而解决了LLM02:2025敏感信息泄露的问题。
同时亚马逊云科技Bedrock Guardrails提供了额外的大模子输入输出掩护层，可过滤和拦截敏感内容，如个人身份信息（PII）以及通过正则表达式定义的自定义敏感数据。Guardrails另有检测和屏蔽攻击性语言、竞争对手名称或其他不盼望出现的词语，确保输入和输出均安全。大家还可以利用 Guardrails在有害或操控性的提示词到达AI模子之前就进行检测和过滤，从而防止LLM01:2025提示注入攻击，维护提示词的完整性。
另一个关键的安全方面是管理AI模子的输出。由于AI模子大概天生包罗可执行代码的内容，好比 JavaScript或Markdown，如果这些内容处置处罚不当，就存在XSS攻击的风险。为降低此类风险，我们需要使用输出编码技术，例如HTML实体编码或JavaScript转义，在将内容呈现给用户前将任何潜伏有害内容进行无害化转换。此方法解决了LLM05:2025输出处置处罚不当的风险。
我们也可以利用亚马逊云科技Bedrock的提示管理和版本控制，使得在不断提升用户体验的同时，也能维持整个应用的安全性。通过美满管理提示词及其处置处罚方式的变动，在加强IA模子功能的同时不会引入新的毛病，并降低LLM01:2025提示注入攻击的风险。
降低未经授权或非预期的AI模子操作风险的计谋的核心就是：“将AI模子视为不受信任的信息泉源，并在某些操作上采用人工介入流程”。
亚马逊云科技Bedrock大语言模子与署理层
AI模子与AI模子署理层经常处置处罚与AI模子的交互，面临诸如LLM10:2025不受限制的使用、LLM05:2025输出处置处罚不当以及LLM02:2025敏感信息泄露等风险。
拒绝服务（DoS）攻击大概会通过大量资源麋集型请求使AI模子处置处罚不堪重负，从而降低整体服务质量并增加成本。在与亚马逊云科技Bedrock托管的AI模子交互时，设置诸如输入请求的最大长度等请求参数，将有助于降低AI模子资源耗尽的风险。别的亚马逊云科技Bedrock署理对队列中的最大动作数目以及完成客户意图的总动作数都有硬性限制，这限制了体系对AI模子署理基于用户需求所采取的总动作数目，避免了大概耗尽AI模子资源的非常死循环或麋集任务。
输出处置处罚不当会导致远程代码执行、跨站脚本（XSS）、服务器端请求伪造（SSRF）以及权限提升等安全毛病。对AI模子天生的输出在发送到卑鄙服务前，如果验证和管理不佳，就大概间接开放毛病攻击面，让这些毛病有机可乘。为降低这一风险，应将模子视为普通的应用用户一样，对 LLM天生的响应进行安全验证。亚马逊云科技Bedrock Guardrails利用可配置阈值的内容过滤器来过滤各种有害内容，并在这些响应被其他后端体系进一步处置处罚之前就进行阻拦，从而简化了这一过程。Guardrails会主动评估用户输入和模子响应，检测并资助防止有害的内容。
亚马逊云科技Bedrock署理在执行多步骤任务时，与亚马逊云科技原生服务以及外部的第三方服务安全集成，从而有效解决输出处置处罚不安全、过量署理行为和敏感信息泄露的风险。在文章开头的架构图中，署理下的action group中的Lambda服务用于对全部输出文本进行编码，使其主动无法被 JavaScript或Markdown非常执行。别的action group中的Lambda函数会分析和记载署理每一步执行时从AI模子得到的回复，并根据恢复内容相应地控制输出，确保在下一步处置处罚前输出内容完全安全。
敏感信息泄露是AI模子面临的另一大风险，由于恶意的提示工程大概会导致AI模子无意中在响应中泄露不应公开的细节，从而引发AI模子隐私和机密性问题。为缓解这一问题，可以通过亚马逊云科技 Bedrock Guardrails中的内容过滤器实施数据清洗措施。
另外还应根据user_id实施自定义、精细化的数据过滤计谋，并根据id执行严酷的用户访问计谋。亚马逊云科技Bedrock Guardrails可以过滤敏感内容，亚马逊云科技Bedrock署理则通过允许大家在预处置处罚输入的提示词模板和处置处罚响应的提示词模板中实施自定义逻辑往复除任何非预期的有害信息，进一步降低了敏感信息泄露的风险。如果大家已为AI模子启用了模子调用日志记载，大概在应用中实施了自定义日志逻辑，将 AI模子的输入和输出记载到亚马逊云科技CloudWatch中，那我们也需要开启CloudWatch日志数据掩护等措施，在CloudWatch日志中辨认和屏蔽敏感信息，从而进一步降低敏感信息泄露的风险。
署理插件控制层（action group Lambda函数）
署理插件控制层经常需要与内部和外部服务集成，并对内部和外部数据源以及外部第三方API应用授权。LLM08:2025向量与嵌入单薄性以及LLM06:2025署理行为过度的风险开始显现。不受信或未经验证的第三方插件大概会以恶意代码的情势引入后门或毛病。
对与外部体系进行集成交互的action group Lambda函数所使用的IAM角色，应使用最小权限原则原则，有助于解决LLM06:2025署理行为过度和LLM08:2025向量与嵌入单薄性的风险。从文章开头的架构图可以看出，署理插件层的Lambda函数便是关联了一个最小权限的 IAM 角色，用以安全访问和与其他内部亚马逊云科技服务进行交互。
别的在确定用户身份后，通过将user_id转达给卑鄙集成应用（如署理插件层），通过基于用户id身份授权访问，从而进一步限制数据的访问。固然这个user_id参数可在署理插件控制层的Lambda函数中用于自定义授权逻辑，但其重要作用就是用于为外部第三方插件提供基于用户身份的细粒度的访问控制。应用全部者有责任在action group Lambda函数中实施自定义授权逻辑，该自定义逻辑需要将user_id参数与开辟者预定义授权规则相结合，为第三方API和插件应用配置安全的访问授权级别。此方法将确定性的访问控制应用于非确定性的AI模子前，使得对哪些用户可以访问和执行特定外部第三方插件实现了细粒度控制。
将基于user_id的数据授权与IAM角色的最小权限相结合，一般可最大限度地降低LLM08:2025向量与嵌入单薄性以及LLM06:2025署理非预期行为的风险。
RAG知识库数据存储层
RAG的数据存储层负责安全地从各类亚马逊云科技上的数据源和外部第三方数据源中检索最新、精准且受到访问控制的数据。在默认情况下，亚马逊云科技Bedrock使用了KMS秘钥服务，加密全部与知识库相关的数据。大家也可以选择使用Customer managed的KMS密钥。在为知识库配置数据提取任务时，还可以使用Custom KMS密钥对任务进行加密。
如果大家想选取OpenSearch Service作为知识库的向量存储，Amazon Bedrock可将大家选择好的 KMS密钥转达给它进行向量数据加密。别的在天生查询知识库响应的会话中，也可以使用KMS密钥对会话进行加密。为了便于安全通信，Amazon Bedrock知识库在与第三方向量存储进行数据交互时，默认使用TLS加密，前提是该服务支持并允许TLS加密传输。
关于用户访问权限控制，亚马逊云科技Bedrock知识库使用筛选来管理对数据的访问权限。大家可以利用文件元数据和过滤功能，在知识库上构建数据隔离访问解决方案。在运行应用时，必须对用户进行身份验证和授权，并在请求中包罗该用户的验证信息，以保持准确和一致的访问控制。为了使访问控制持续见效，大家应定期在筛选配置中重新同步配置，以反映用户权限变化。另外用户组也可以作为一个筛选属性，对知识库中的文件进行精细化访问控制。
这种方法有助于解决LLM02:2025敏感信息泄露和LLM08:2025向量与嵌入单薄性的风险，确保只有授权用户才能访问相关数据。
总结
在本文中，小李哥怎样利用亚马逊云科技天生式AI安全合规框架，从亚马逊云科技安全共担责任模子的角度对天生式AI应用分为5大类，对于不同种别我们应用了不同的安全控制。同时我们回首了一个常见的天生式AI应用的安全架构和最佳实践，再利用OWASP Top 10 for LLM风险评估模子评估了genAI应用安全态势，同时展示了怎样利用亚马逊云科技服务有效解决OWASP Top 10 for LLM的常见威胁和风险，从而掩护天生式AI应用的体系。想了解更多关于在亚马逊云科技构建安全天生式AI应用和AI安全的信息，欢迎大家关注小李哥不要错过更多精彩文章。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
