Gartner发布AI安全和风险管理市场指南：AI安全方案四大必备功能、四层技能 ...

AI 信托、风险和安全管理市场包括四层技能能力，用于执行 AI 管理政策。最上面的两层是 AI 的新内容，正在整合成一个独特的细分市场。AI 领导者应使用本指南来了解 TRiSM 并发现示例供应商。

重要发现

• 企业面对多种人工智能风险，最担心的是数据泄露、第三方风险以及不正确或不须要的输出：
  

o   针对企业人工智能的恶意黑客攻击仍然很少见，而不受约束的有害聊天机器人变乱却有据可查，内部过分共享数据泄露现象普遍存在。

• 分层人工智能 TRiSM 步伐适用于所有类型的人工智能，从嵌入式人工智能到自主开辟的署理人工智能系统，并补充传统的技能保护步伐：
  

o   新的 AI管理和运行时执行功能正在融合，形成 TRiSM 市场的独特部分。

• 用户对天生式AI TRiSM 解决方案的需求正在稳步增长，各种规模的供应商都在争夺这一新的企业业务：
  

o   一些供应商专门支持安全和风险缓解，另一些供应商则支持道德或安全实践和法规服从性。目前，没有任何一家供应商或解决方案可以大概解决人工智能威胁和风险的所有方面和环节。

• 人工智能信托、风险和安全问题暴露了组织孤岛问题，迫使团队重新调整以解决跨部分界限的问题。
  

建议

人工智能领导者和负责人工智能控制的个人必须与优点相关者合作，订定人工智能管理政策，并分配管理支持政策执行的人工智能 TRiSM 技能的责任。组织起来后，他们必须：

• 发现并盘点组织中使用的所有人工智能。
  
• 重新审视并实施所有大概被人工智能使用的企业信息的数据分类、保护和访问管理。
  
• 评估并实施分层 AI TRiSM 技能，以在所有 AI 用例中连续执行策略。
  
• 随着更先进、更具成本效益的 AI 模子和工具的出现，保持灵活性并确保不依赖于任何单一的 AI 模子提供商。
  
• 经常监控供应商状况，了解预期的整合和新兴的 TRiSM 外包服务，以减轻系统集成和维护的负担。
  

战略规划假设

到 2026 年，至少 80% 的未经授权的人工智能生意业务将是由于企业内部违反有关信息过分共享、不可接受的使用或误导性的人工智能行为的政策而造成的，而不是恶意攻击。

到 2027年，AI TRiSM 即服务将成为那些没有资源实施自己的 AI TRiSM 服务的企业可行的外包服务选择。

到 2028 年，25%的大型组织将拥有由数据和分析、数字工作场合以及安全和合规领域的代表组成的整合而专门的信息管理团队，而2023 年这一比例还不到 1%。

市场界说

Gartner 将 AI 信托、风险和安全管理 (TRiSM) 市场界说为由四层技能能力组成，这些能力支持所有 AI 用例的企业策略。这些策略有助于确保 AI 管理、可信度、公平性、安全性、可靠性、保密性、隐私性和数据保护。最上面的两层——AI 管理和 AI 运行时查抄与执行——是 AI 的新内容，部分正在整合为一个独特的细分市场，而最下面的两层则代表专注于 AI 的传统技能。

AI 带来了新的信托、风险和安全管理寻衅，而这些寻衅是传统控制无法解决的。企业最担心的是数据泄露、第三方风险以及不正确或不须要的输出，需要确保企业 AI 行为和行动符合企业意图。

随着人工智能市场迅速成熟和变革，企业必须进一步保持独立于任何单一人工智能模子或托管提供商，以确保可扩展性、灵活性、成本控制和信托。企业需要可以大概从性能、成本和风险的角度挑选最得当其用例的人工智能工具和模子，而不能仅仅依靠供应商在现有企业应用程序中添加人工智能功能来满足组织的所有人工智能需求。

企业 AI TRiSM 功能应可在后端托管提供商之间移植。企业应尽大概使用托管和前沿模子提供商提供的 TRiSM 功能来补充自己的 TRiSM 服务，以支持强盛的分层控制框架。

AI TRiSM 市场不绝在稳步发展，并不停推出解决这些问题的解决方案。随着越来越多的 AI 项目投入运营，用户对 TRiSM 解决方案的需求也在不停增加，各种规模的提供商都在争夺这一新的企业业务。

AI TRiSM 解决方案使企业可以大概了解其网络中访问和使用的所有 AI。它们还使组织可以大概更安全地使用 AI，确保 AI 行为符合组织意图，保护 AI 系统免受恶意行为者的侵害，并确保秘密数据和知识产权得到妥善保护。AI TRiSM 解决方案还有助于支持遵守 AI 法规、安全尺度和内部控制。

AI TRiSM 步伐适用于所有类型的 AI，从嵌入式 AI 到自主开辟的署理 AI 系统，并补充了传统的技能保护步伐。新的 AI 管理和运行时执行功能正在融合，形成 TRiSM 市场的一个独特部分。

必备功能

必备性功能包括：

• 人工智能目次：组织中使用的人工智能实体的清单，例如各种设置的模子、署理和应用程序，范围从现成的第三方应用程序中的嵌入式人工智能到自带人工智能、检索加强天生系统，再到第一方模子
  
• AI 数据映射：用于训练或微调 AI 模子、为 RAG 系统中的用户查询提供上下文或为 AI 署理系统提供数据
  
• 连续保证和评估用于基线的性能、可靠性、安全性或安全期望和指标
  

o   在摆设前和摆设后（带外）进行保证和评估

• 运行时查抄和执行：应用于模子、应用程序和署理交互，以支持与组织管理策略的事务同等性。查抄适用的毗连、流程、通讯、输入和输出是否违反策略和预期行为。突出显示异常并阻止、自动修复或转发给人工或变乱响应系统进行调查、分类、响应和适用的修复。
  

市场形貌

AI TRiSM 技能正在快速发展，以跟上 AI 的快速进步以及用户对安全摆设 AI 的日益增长的爱好。

图 1显示了AI TRiSM 的四层，位于第五层底层之上，由传统技能控制（例如网络、终端和云安全解决方案）组成。
图1：AI TRiSM技能功能

AI TRiSM 技能框架的顶部两层（AI 管理和运行时解决方案）正在整合，形成一个管理 AI 风险和威胁所需的全新细分市场。具体而言，将 AI 清单和连续评估的管理功能与运行时查抄和执行功能相结合，支持对 AI 交互进行运行时分析，并以连续风险评分的 AI 清单为基础。这一新细分市场将继承得到 AI TRiSM 底部两层中的企业解决方案的支持，这些解决方案代表了专注于 AI 信息和工作负载的传统技能。

目前，没有任何一家供应商或解决方案可以大概解决人工智能风险和威胁的所有方面。一些供应商专门支持安全和风险缓解，而另一些供应商则专门支持道德或安全实践和法规服从性。即使在人工智能管理层中，一些供应商也更专注于广泛的管理功能，而其他供应商仅提供有效提供运行时控制所需的功能。如上所述，这些控制通常包括人工智能清单和连续评估。

AI TRiSM 市场的特点是独立于前沿模子提供商解决方案，这些解决方案也支持信托风险和安全管理。随着 AI 市场迅速成熟和变革，企业必须保持独立于任何单一 AI 模子或托管提供商，以确保可扩展性、灵活性、成本控制和信托。

企业需要可以大概从性能、成本和风险的角度挑选出最得当其用例的AI 工具和模子。他们不能仅仅依靠供应商将 AI 功能添加到现有企业应用程序来满足组织的所有 AI 需求。企业 AI TRiSM 功能应可在后端托管提供商之间移植。同时，企业应尽大概使用托管和前沿模子提供商提供的 TRiSM 功能来补充自己的 TRiSM 服务，以支持强盛的分层控制框架。

随着时间的推移，我们预计全面的 AI TRiSM 即服务将作为一类外包服务出现，专注于满足中小型企业的需求。这些服务将适用于各种类型的 AI 实施。

AI TRiSM 市场指南不包括的内容
本指南不包括前沿模子托管提供商提供的 TRiSM 解决方案。这些公司通常提供 AI 过滤功能，以过滤涉及暴力、愤恨、自残或不得当性互动的社交不安全互动。大多数模子托管提供商支持私有企业租户、传输中的企业数据加密以及让企业控制其数据的数据处理协议。他们还开始支持检测常见的可识别安全违规行为，例如即时注入。

模子托管和前沿模子提供商通常无法访问所有企业数据，也无法提供对可靠、安全的 AI 采用至关重要的全面信息管理。别的，前沿模子提供商并不负责为企业特定的可接受使用政策定制 AI TRiSM 政策引擎。但他们可以做的是为企业提供工具，让企业自行定制和摆设这些政策执行器。

使用人工智能大概导致社会生存风险，但《人工智能 TRiSM 市场指南》并未包罗直接缓解这些风险的解决方案，因为企业目前无法控制这些风险。前沿模子提供商、人工智能研究人员和监管机构负责接纳步伐缓解人工智能的生存风险。

末了，AI TRiSM 不是使用 AI 检测恶意变乱（例如欺诈、深度伪造、偷窃或数据泄露）的安全或欺诈管理市场的一部分，也不是使用 GenAI 进步安全或欺诈运营效率的市场的一部分。

市场方向

四种不同的趋势正在塑造 AI TRiSM 市场及其预期的将来（见图 2）。自从ChatGPT使天生式AI的访问民主化并夸大控制企业对 AI 使用的急迫需要以来，这些趋势已被推到外貌。在此之前，大多数企业 AI 开辟：

• 用于数据科学团队内部开辟的第一方模子
  
• 需要高程度的数据科学和 AI 工程技能才能使用
  

因此，TRiSM 在大多数不受监管的行业中处于次要地位。
图 2：四大关键趋势塑造 AI TRiSM 市场

趋势一：AI TRiSM 团队初具规模

AI 需要新的跨企业团队流程和工具来实现有效的运行时摆设。这可确保所有相关方共同努力，实现满足其不同要求的同一 AI 成果。Gartner 正在见证四种新兴的组织趋势，这些趋势将在将来三年内天然而然地导致 TRiSM 监督和运营团队的出现（见图 3）：

• 安全和风险管理功能与相关 IT 软件工程和质量保证团队归并和集成，并转移到 AI 工程来管理 AI TRiSM控制。
  
• AI会集或混淆团队出现并管理AI的各个方面，包括AI TRiSM控制。
  
• 信息管理打破了这一外貌，导致不同组织急迫需要接纳同一的方法来保护人工智能使用的信息。
  
• 法律和合规人员要求企业AI应用满足监管和法律要求。
  

图 3：团队必须与新的 AI 流程和领域保持同等

Gartner 预计，AI TRiSM 监督和运营团队将向负责企业 AI 创新、开辟和运营的经理汇报。同时，根据 Gartner 在 2024 年进行的一项企业 AI 调查，AI 隐私、安全和风险计划的预算权力通常由 CTO 或 CIO 办公室掌握。

趋势二：同一的 AI 运行时查抄和执行系统

需要同等的信号、低耽误、单次处理和同一的运行时控制系统来有效处理 AI 变乱的运行时查抄并执行企业策略。否则，运行时针对雷同变乱的孤立查抄和策略执行系统将导致相互辩论的分析和解决方案。
图 4：同一运行时查抄和执行

重要的是：

• 同时执行运行时策略引擎（由规则和 AI 模子组成）——例如，对数据泄露风险、偏见风险、法律风险和安全威胁进行评分的单独策略引擎。
  
• 将他们的结果归并为一个通用的混淆风险评分，以指导企业将来针对可疑的AI 交互接纳行动和补救步伐。
  

组织必须确定最有能力管理同一运行时检测和执行系统的团队，无论是 AI 工程领域的新 AI 团队、扩大的 IT 团队还是扩大的安全和风险团队。无论谁拥有同一运行时检测和执行系统，对于未自动阻止或补救的可疑生意业务的变乱响应和补救都应传递给最有能力处理它们的单位和系统。

例如，在大多数情况下，同一查抄和执行系统中检测到的安全变乱将发送给组织的安全信息和变乱管理 (SIEM) 团队（或外包托管安全服务提供商，视情况而定），以进行须要的跟进。然后，AI 变乱分类将根据遇到的异常或违规类型需要多个升级队列：

• 可接受的使用违规和幻觉将被发送到最得当管理它们的单位——例如人工智能变乱响应团队。
  
• 及时注入和更传统的攻击将被发送给安全和风险团队。
  

需要新的剧原来分类和升级非安全人工智能违规行为，例如法律或合规问题。

趋势三：AI托管提供商扩展TRiSM服务

Frontier 模子提供商和其他 AI 托管提供商正在不停扩展他们为企业提供的 TRiSM 服务，以此作为获得更多业务的竞争策略。一些提供商已经推出了企业可以用来支持自己特定可接受使用政策的工具。大多数托管提供商都实施了防护步伐，以防止将其模子用于暴力、自残、性内容和愤恨。许多提供商已经实施了工具来检测版权侵权和已知的运行时安全威胁，例如提示注入。

AI TRiSM 始终是用户和模子提供商的共同责任，其级别取决于 AI 服务的设置，无论它们是代表 IaaS、PaaS 还是 SaaS 服务。托管和管理自己模子的组织对所有风险缓解负全部责任。

趋势四：AI TRiSM 市场整合

将 AI管理与 AI运行时查抄和执行相结合：本市场指南中的几家供应商已经部分实现了这一点，我们预计这一趋势将在 2025 年及以后加快。通常，提供 AI 运行时查抄和执行的供应商还提供两项AI管理功能：

• AI目次（例如库存）
  
• 连续保证和评估
  

将这两个管理功能与运行时控制相结合，为所有企业 AI 交互的及时分析和策略实施提供了基础，并提供了对 AI 风险和威胁的完整视图。

从多种类型的供应商那里获得并扩展战略：人工智能管理和运行时查抄与执行的整合将融入到成熟的大型软件、安全或网络供应商提供的服务中，这些供应商寻求通过支持用户的人工智能之旅来增加客户钱包份额。例如：

• 2024 年，思科收购早期初创 TRiSM 供应商Robust Intelligence时，Gartner 看到了这一趋势的迹象。
  
• 我们还见证了Zscaler和Palo Alto Networks等基于云的网络安全供应商将其功能扩展到 AI TRiSM。
  

更远：

• 一些监管、合规/公平、信托和安全导向的解决方案将与现有的管理风险与合规（GRC）系统归并，其中许多系统已经添加了人工智能管理的模块。
  
• 一些 AI 运行时查抄和执行解决方案将与 SASE、SSE 和云安全供应商（如Zscaler和Wiz ）以及 SIEM 和 SOAR 供应商（如Exabeam或Cisco （Splunk））归并。
  
• 提供安全和风险功能外包服务的供应商将扩展以提供 AI TRiSM 服务，重要针对中小型组织。
  
• 提供支持 AI 生命周期抽象层的企业 AI 管理平台的供应商将越来越多地将 TRiSM 功能集成到其平台中。例如，Airia和Backplain等 AI 供应商已经集成了 TRiSM 功能，同时帮助用户确定哪种后端模子是特定用例最符合且最具成本效益的选择。终极，这些 AI 管理供应商将被大型软件公司收购。  
  

信息管理层整合：提供数据安全态势管理 (DSPM) 、数据安全和数据防泄露(DLP) 系统的供应商将继承扩展以纳入以 AI 为中央的功能。特别是：

• DSPM 供应商将在 AI 运行时纳入动态数据分类和允许。
  
• DLP 供应商将扩展其功能，以支持基于上下文的 AI 会话和交互查抄，并使用 AI 策略引擎来执行可接受的使用和访问控制。DLP 供应商还将扩展其产品以支持响应和入站信息（而不光仅是像现在这样支持生意业务输入和出站信息）。
  
• 数据安全平台供应商将在其产品中整合结构化和非结构化信息的安全性。
  

市场分析

如图1 所示，AI TRiSM 市场由四个功能技能层组成。顶部两个是 AI 的新技能；底部两个是专注于 AI 的传统技能步伐：

• AI管理
  
• AI运行查抄和执法
  
• 信息管理
  
• 基础办法和堆栈
  

每个功能层都具有多种功能。这里，我们将具体介绍每个层并概述这些功能。

人工智能管理

企业 AI 管理涉及技能和职能团队的多个优点相关者——数据科学、AI 工程、法律、隐私、风险与合规、人力资源、道德、安全、审计、采购和业务团队。AI管理提供了一个框架来管理组织的 AI 资产，加强对 AI 性能的信心并确保业务成果。

AI管理与其他管理计划具有类似的组织支柱和重点，由人员和流程计划推动，并以技能为推动力。本节重点介绍AI管理技能。

AI 管理技能提供了企业健康状况的同一视图。AI 管理技能涵盖三个焦点框架——负责任的 AI、受保护且安全的 AI 以及 AI 停当数据，并为企业内的各种 AI 实施提供毗连：

• 负责任的AI框架包括安全、保障、问责、透明、公平和道德原则。
  
• 受保护的安全AI框架包括可接受使用执行、AI与用户意图保持同等以及针对恶意行为者的保护等原则。
  
• 支持 AI 的数据框架可确保访问用于 AI 解决方案的可信且受保护的数据（通过访问管理和数据分类）。
  

别的，AI管理技能支持AI实施的保证和审计实践：

• AI保证涉及各种流程和活动，以验证模子、署理和应用程序是否按照业务、法律（例如合同）、监管（例如欧盟人工智能法案、通用数据保护条例 [ GDPR] ）和合规（例如NIST 人工智能风险管理框架 (NIST AI RMF) 、ISO/ IEC 42001 ）任务执行。AI管理技能支持与人类保证活动相关的证据和工件的链接。
  
• 大多数AI审计要求包括系统和验证可追溯性，以确保符合组织政策和监管要求。
  

所有这些都需要几项焦点的AI管理技能能力以及支持与运营平台集成的扩展，其中最值得注意的是AI运行时查抄和执行解决方案。有关AI管理能力的具体说明，请参阅表 1 和解释 3 。
表一：AI管理技能功能

管理：摆设前或摆设后的支持活动
人工智能可见性和可追溯性	工作流程（内部和第三方）	连续保证和评估（内部开辟和第三方）
目次：组织中使用的所有人工智能的发现、清单和风险评分 自动化（部分）文档：物料清单、模子卡、工件、监管报告、可解释性 审计线索：对人工智能工件的所有状态变革进行审计 地图：人工智能与人类和其他系统流程及其设置的集成地图；完整的生命周期 所有权：文物和宗族的所有者 数据：将数据映射到人工智能的使用、血统 风险、法规和控制：验证、风险评估、内容库、报告	答应新的 AI；例外情况 使用证明 与第三方供应商的沟通： o     射频干扰 o     响应 o     遵守 o     控制	人工智能安全测试：对所有实体（模子、应用程序、署理）进行红队测试和扫描 风险和信托控制验证： o     偏见 o     泄漏 o     相信 o     用例对齐       姿势管理 合规性报告

泉源：Gartner（2025 年 2 月）

AI 运行时查抄与执行


AI运行时查抄和执行适用于模子、应用程序和署理交互，并支持与组织管理政策进行事务协调。查抄适用的毗连、流程、通讯、输入和输出是否违反政策和预期行为。突出显示异常并阻止、自动修复或转发给人工或变乱响应系统进行调查、分类、响应和适用的修复。

Gartner 发现，在模子、应用程序和署理等AI 实体中应用的运行时查抄和执行控制具有很大的相似性。最佳的运行时查抄系统将提供模块化解决方案架构，用户可以根据 AI 用例将适用的检测和执行应用于任何 AI 实体（例如模子、应用程序或署理）。

表 2显示了针对不同人工智能实体所采用的不同步伐。
表2 ：AI 运行时查抄和执行功能

运行时查抄和执行
人工智能模子	人工智能应用	人工智能署理
模子监控 检测异常活动和安全变乱；尽大概阻止并自动修复 数据保护 负责任的 AI 过滤 遵守内部和外部控制	基于上下文的访问控制和动态上下文数据分类 内容异常检测输入和输出风险（安全和企业可接受的使用）；如果大概则自动阻止 AI 运行时防御（恶意和黑客攻击）；如果大概则自动阻止 选择性数据肴杂和编辑 遵守内部和外部控制	使署理活动与署理意图保持同等 检测并标记异常活动和安全变乱 在大概的情况下自动阻止异常和安全变乱 在大概的情况下自动修复异常和安全变乱 遵守内部和外部控制

泉源：Gartner（2025 年 2 月）

图 5描绘了用于自主开辟的应用和署理的运行时查抄和执行的示例企业集成架构。对于其他类型的 AI（例如现成应用中的嵌入式 AI），此图看起来会有所不同。
图 5：自主开辟的应用程序和署理的企业集成架构示例；运行时

信息管理

在人工智能 TRiSM 的背景下，信息管理涉及在数据的整个生命周期内对其进行分类、保护、保障和管理。成熟的信息管理控制对于以下方面至关重要：

• 确保人工智能只能访问相关且正确获得允许的信息
  
• 保护组织的敏感信息
  
• 尝试遵守相关人工智能法规，例如欧盟人工智能法案
  

由于访问控制不当而导致的过分共享和信息管理不善造成的数据泄露风险并不是新问题。然而，当Gen AI 工具嵌入到企业应用程序中或使用 RAG 查找组织信息时，它们可以更快地将过分共享的数据暴露给更大的受众，并揭示数据生命周期的寻衅。如果未能接纳得当步伐识别和管理整个组织数据资产中的敏感数据，将加剧此类寻衅，带来不须要的数据风险，并大概导致大范围的数据泄露。对于知名的横向 AI 产品（如Microsoft 365 Copilot 、Gemini for Workspace和ChatGPT Enterprise （如果集成到生产力平台中））来说，这是一个特别大的问题。Microsoft 365和Google Workspace等生产力平台中的非结构化数据历来管理不善，当摆设在基础办法中的 AI 模子具有对组织数据的默认、广泛访问权限时，这将成为庞大问题。

为了避免在使用 GenAI 和其他 AI 工具时出现过分共享的问题，组织必须全面改善信息管理。寻衅有两个方面：

• 大多数组织和供应商都试图从特定的孤岛（例如安全性、数据保护、身份或合规性）来解决这一问题，而不是通过将孤立的群体聚集在一起以获得同一的视图和协调行动来改善信息管理。
  
• 信息管理经常成为过后才想到的事情，而且大概会因为其他更紧迫的项目而被永久推迟。
  

对于许多组织而言，单薄的信息管理正在成为更广泛地推广 GenAI 的重要停滞，并为专门从事该领域的第三方供应商提供了机会。

为了改善信息管理，组织需要组建一个由来自不同团队的优点相关者组成的多学科团队，包括数字工作场合、数据和分析 (D&A)、数据安全、合规性以及身份和访问管理 (IAM)。具体来说，这个多学科团队必须关注：

• 弥合各代表团队之间的差距，确保满足组织的安全性、可用性、隐私性和规模要求（见图6 ）。例如，通过促进摆设前研讨会来实现这一点，这些研讨会不针对任何安全学科，而是针对组织的战略业务成果。
  
• 根据数据目的、组织目标和业务需求处理、分类、保护和确保敏感信息的安全。
  
• 创建数据保存策略来管理冗余、过期或第三级内容 (ROT)。
  
• 切换到基于目的的访问控制（PBAC）策略来减少“权限伸张”。
  
• 在生产力平台（如 Microsoft 365 和Google Workspace）中构建可扩展的信息架构，以使上述内轻易于管理且易于用户明白。
  

图 6：信息管理所需的多学科方法

目前，该技能层仍比较分散，供应商通常专注于全面信息管理所需的一两个组件。例如：

• DSPM、DLP 和 DAG 供应商专注于数据安全。
  
• 身份管理供应商专注于权限管理。
  
• 合规供应商专注于保存和数据生命周期。
  

隐私加强技能 (PET) 是一组有助于保护正在使用的数据的工具，例如在模子训练、微调、对肴杂数据进行推理或在大概不想共享数据但仍有意互换信息的实体之间执行团结模子期间。PET可应用于 AI TRiSM 堆栈的多个层，例如在盘算级别（例如，秘密盘算）、信息管理（例如，在生命周期阶段使用合成数据或同态加密情势（如Enveil ）使用同等且稳健地更改的数据）、性能监控（例如，使用合成数据）或推理、RAG 和微调中的肴杂（例如，Protopia ）。

因此，固然可以使用许多产品来低落信息管理风险，但不太大概找到一款可以大概提供全面解决方案的产品。

基础办法和堆栈

基础办法和堆栈是指支持 AI 工作负载的硬件和软件情况、用于开辟和维护 AI 应用程序的专用工具和库、数据处理层以及包括网络基础办法在内的摆设情况。Gartner观察到该层的解决方案正在应用于AI 工作负载，从而加强对 AI 数据和流程的保护。此种别的解决方案包括 API 密钥管理和秘密盘算，以保护可信执行情况中的工作负载。

代表供应商

供应商的 AI TRiSM 功能多种多样且分散。查抄所考虑的产品，了解市场分析部分列出的每个焦点 AI TRiSM 功能所包罗的具体功能。

AI管理和运行时查抄与执行

AI管理和AI运行时查抄与执行解决方案是AI领域的新领域，构成了AI TRiSM技能框架的顶层两层。AI的这两层正在部分整合，形成AI TRiSM市场的一个独特的新领域。

目前，提供 AI 管理和运行时控制的供应商在功能上存在很大差别，Gartner 观察到该领域的供应商重要分为两类（有些供应商部分超过了两个种别）：

• 政策管理：这些供应商重要针对 GRC 买家，提供完整的 AI 文档、法规合规性监控和上表 1 中界说的各种 AI 管理功能。许多此类供应商还涉足运行时控制，以验证企业政策（尤其是合规性政策）是否得到执行。
  
• 运营管理：这些供应商的目标客户是负责确保在 AI 运营期间减轻各种风险和安全威胁的买家。这些供应商提供范围较窄的 AI 管理功能（即 AI 清单和连续保证/评估），并支持基于连续风险评分 AI 清单的 AI 交互运行时分析。
  

表 3 列出了属于这两个种别的样本供应商，随着供应商扩展其功能集以满足用户需求，这些种别之间的界限开始变得暗昧。
表3 ：代表性供应商：AI 管理和运行时查抄与执行

公司	产品	总部	成立时间	区分能力
ActiveFence	ActiveFence的 AI   Guardrails	美国	2018	用于构建和摆设 AI 应用的护栏。为任何 AI 模子组合提供基于策略的可定制保护。专注于可见性、安全评估、及时保护和变乱管理。
Aim Security	Aim AI安全平台	以色列	2022	多种 AI 资产（模子、署理、管道、ML 流程、笔记本、库）的运营管理和可见性、风险评估和自动红队。运行时监控可防止即时注入和越狱，涵盖运行时数据、AI 应用程序保护（RAG 漏洞和署理工作流），并与 DSPM 集成以突出显示用于训练 AI 资产的敏感数据。
AIShield（由博世提供支持）	AISpectra——模子开辟的人工智能安全 Guardian — 运行时安全的   AI 防火墙	印度	2022	运营管理和运行时控制，包括 AI 库存管理和连续评估、自动红队、及时入侵检测和漏洞评估。以风险评分库存为基础的 AI 交互运行时分析，并与 DevSecOps 和 SIEM 工具集成。
Apex	Apex AI安全平台	美国	2023	运营管理包括 AI 库存和连续评估。无代明白决方案，可检测和响应所有企业 AI 活动。
APPSOC	APPSOC人工智能	美国	2021	使用姿态管理、AI 发现、红队和模子测试、AI 供应链安全等工具进行运营管理和运行时控制。还提供负责任的 AI 过滤、ML 驱动的 DLP 和内容异常检测。
CalypsoAI	Inference Defend Inference Red Team	爱尔兰	2018	CalypsoAI Inference Defend 通过查抄和执行   AI 交互来提供及时推理层安全性，并根据模子性能、用户行为和威胁情报不停调整防御步伐，同时实现可定制的控制并遵守不停变革的法规。 CalypsoAI Inference Red Team提供自动化、可扩展的评估，运行现实世界的对抗性攻击，以自动识别漏洞并创建风险评分的 AI 库存，将署理战与签名攻击和操作测试相结合。
思科（强盛智能）	Cisco AI Defense	美国	1984	Cisco AI Defense可保护企业应用程序的开辟和摆设，以及员工对第三方 AI 应用程序的使用。该产品以收购Robust Intelligence时获得的算法漏洞测试和运行时护栏为基础，并使用思科的网络层可视性和安全实施来保护分布式情况中的 AI 资产和工作负载。
Collibra		美国	2008	Collibra提供管理功能，包括模子文档、可解释性、合规性功能，并在 AI 可靠性和合规性方面同样投入。它还在领先的 AI/ML 平台上提供运行时指标和执行机制。
Coralogix（Aporia）	AI Observability	以色列	2019	使用多个专门的小语言模子 (SLM) 根据异常或行为的类型提供有针对性的评估。目次中的每种策略类型大概都依赖于自己的 SLM，以低耽误提供及时控制，并通过策略实施和监控实现运营管理。
Cranium		美国	2022	AI 运营管理平台通过组织共享信息的独特 AI 信托和安全中央，实现整个 AI 供应链的安全性、第三方性、合规性和信托。 通过扫描所有存储库、识别和标记相关目次，并根据大小和最近活动对结果进行优先排序，实现对 AI/ML 代码的可见性，以便在短时间内会集注意力。
Credo   AI	Credo AI	美国	2020	Credo AI 提供专用的 AI   管理 GRC 平台，具有开箱即用的工作流程和管理内容，可帮助组织将其 AI 的开辟和使用与法规、尺度和最佳实践保持同等。Credo AI 平台与企业的 AI 基础办法集成，以创建会集式 AI 清单，并提供自动化 AI 风险评估和连续风险监控，以识别和缓解关键风险和合规性问题。
Databricks	Databricks Unity Catalog	美国	2013	Databricks 使用Unity   Catalog在整个数据和 AI 生命周期中提供同一的安全性和管理，使组织可以大概在一个地方管理结构化和非结构化数据、ML 模子和 AI 功能。Unity Catalog通过会集访问控制、审计、ML 质量监控（包括公平性、毛病检测和 AI 得当性）、沿袭跟踪和模子发现将管理扩展到专有和开源模子，并自动执行敏感数据分类，在行和列级别实施细粒度安全性。
DataRobot	DataRobot企业 AI 套件	美国	2012	DataRobot 的 AI 管理框架可自动管理天生和猜测 AI 中的模子，并将其管理扩展到本地、边缘、远程装备和云。DataRobot通过自动文档、可自界说的报告以及内置的安全和合规性分析简化了对欧盟 AI 法案和 HIPAA 等法规的遵守，并根据需要通过及时和流式考核进行加强，以实现猜测和天生推理，以及用于本地和远程摆设的深度监控工具。
Daxa	Pebblo	美国	2021	Daxa 将设置时 AI 数据上下文与运行时数据访问控制相结合。它既支持 AI 管理和安全，又使用了以开辟人员为先的开源方法。
Fairly AI	Fairly AI Governance, Risk and Compliance   Management Platform for Enterprise	加拿大	2020	Fairly AI 企业管理风险与合规管理平台采用多署理作为法官的评估框架，该框架采用颠末定性和定量风险与合规数据训练的“专家混淆”模子，帮助检测、管理和减轻 AI 风险。
HiddenLayer	人工智能安全 平台	美国	2022	HiddenLayer 专注于保护 AI   和机器学习模子，提供传统网络安全解决方案所忽视的专业威胁检测、模子保护和对抗性攻击缓解。它集成到现有的   AI 管道中，在不影响性能的情况下提供安全性。
Holistic AI	AI Governance Platform AI Audits AI Safeguard AI Tracker	美国	2020	Holistic AI的软件通过确保   AI 系统的透明度、公平性和可问责性，帮助组织管理 AI 风险。它们提供各种管理、安全和运行时分析工具，帮助最大限度地低落财务、法律和声誉风险。
IBM	IBM watsonx.管理	美国	1911	与供应商无关：即使与第三方供应商一起构建和摆设，也可以管理 AI，包括整个生命周期的管理——从概念到开辟以及运行时。 涵盖 ML 和 GenAI 的综合功能可满足多种需求：AI 可观察性和监控、涵盖 AI 风险和法规服从性的风险管理，以及通过与IBM的 AI 安全和其他供应商集成实现的 AI 安全性。
Knostic		以色列	2023	Knostic界说、捕获和管理组织内各种脚色的主题级知情需求，这与传统的以数据为中央和以信息为中央的控制不同。Knostic的知情需求规则可用于查找过分共享的内容、逼迫执行每个用户/每个主题的护栏、对记录的交互中的知情需求违规发出警报，并确保 agentic-LLM 在用户的知情需求范围内运行。
Lakera	Lakera人工智能安全平台	美国	2021	Lakera AI 安全平台提供及时可见性和控制，以阻止威胁并管理署理。Lakera的AI 优先方法提供   AI 威胁检测并最大限度地进步署理性能。
Lasso Security		以色列	2023	Lasso Security是一个   GenAI 安全平台，它通过自主测试 LLM 应用程序、监控所有 GenAI 交互、及时检测风险和启用高级护栏来加强组织的安全态势。借助适用于应用程序和员工的 Lasso，组织可以连续测试和保护 GenAI 模子、应用程序、署理和聊天机器人的使用，同时保持合规性和安全性。
LatticeFlow   AI		瑞士	2020	LatticeFlow映射内部和外部   AI 管理框架、法规和 AI 系统的交集，以便在企业情况中对风险进行建模。 LatticeFlow不停网络有关用例的技能和背景证据并将其毗连到 AI 控制，为解释和变革检测提供经验基础。
ModelOp	模子运营中央	美国	2016	ModelOp的 AI 管理技能为所有 AI 计划（包括 GenAI、内部、第三方和嵌入式 AI 系统）提供端到端模子生命周期管理。通过使用自动化来逼迫合规，并与现有 IT 和 AI 投资相结合，ModelOp支持跨业务部分和团队的可扩展、有效管理。
Monitaur	Govern and Automate	美国	2019	Monitaur将各种尺度和法规同一到一个全面的通用控制库中，每个Monitaur控制都界说了一种风险，映射到一个模子开辟阶段，并规定了模子构建者和风险优点相关者应该做哪些工作来低落风险。在验证产品中，Monitaur还在某些情况下引入了合成数据，以进一步扩展对抗性和稳健性压力测试评估的测试范围和模拟场景。
Noma Security	AI中型安全平台包括： 人工智能供应链安全 人工智能管理和安全态势管理 AI运行时保护	以色列特拉维夫	2023	全面覆盖整个生命周期的AI管理，包括AI供应链安全（包括Jupyter笔记本，模子注册表），AI运行时保护，AI红队和AI基础办法评估。 单一玻璃视图和大量集成用于进步运行时检测的正确性和仪表板的清楚度。
OneTrust	数据与人工智能管明白决方案	美国	2016	OneTrust使用 GenAI   策略跨数据系统管理数据和 AI 项目。数据和 AI 管明白决方案通过自动化元数据发现、将书面策略转换为可执行数据策略和动态控制以及在整个 AI 生命周期（从计划到摆设）中嵌入管理来为 AI 准备数据。
Operant AI	AI Gatekeeper	美国	2020	Operant通过针对 AI 模子、AI 应用程序、AI API 和   AI 署理的发现、检测和自动防御功能，在运行时保护 AI 工作负载。Operant提供先进的 AI 数据保护功能，包括关键和敏感数据的在线阻止、自动编辑和数据肴杂。
Palo Alto	AI运行时安全 人工智能访问安全	美国	2005	AI 运行时安全发现、保护和监控 AI 生态系统（应用程序、模子、署理和数据）中的每个组件，免受特定于 AI 的威胁，并防止 AI 模子、应用程序和署理的数据泄露，从而保护它们免受滥用和攻击。 AI Access Security 提供超过   1000 个应用的最新目次，可全面了解公司的 GenAI 使用情况。其情境感知 AI 检测可防止敏感数据泄露给有风险的第三方 LLM。
Pillar Security	Pillar 同一人工智能安全平台	以色列	2023	Pillar AI Security 平台在所有运行时和开辟阶段为 AI 模子、应用程序和署理提供全面的安全性和管理，无论模子、版本或位置如何。它集成提供连续的库存发现、量身定制的对抗性测试、动态运行时防御、数据分类和每次交互（包括来自用户、数据集、管道、模子等的交互）的不可变日记记录。
Prompt Security	Prompt for Employees Prompt for AI Code Assistants Prompt for Homegrown GenAI Applications	美国	2023	全面的可视性、运行时监控和策略实施，涵盖员工对 AI 的采用，包括Microsoft 365 Copilot和 AI 代码助手等企业应用程序，具有特别功能（例如代码扫描），也可用于定制的 GenAI 应用程序。策略包括内容考核、数据隐私和安全，使用小型语言模子、启发式方法和其他技能的组合来最大限度地减少耽误并提供敏感或不得当内容的即时编辑。
Protect AI	Layer Guardian Radar Recon	美国	2022	Protect AI端到端 AI 安全平台，使客户可以大概满足模子开辟、应用程序测试、运行时安全和管理方面的安全需求。 客户可以使用现成的最佳扫描仪并毗连到现有的 MLOps 和安全工具，同时在一个平台内映射到常见的风险和安全框架，如开放全球应用安全项目 (OWASP) 、NIST 和 MITRE。
S2E	Galene 人工智能 天生护盾	意大利	2008	Generative Shield 提供 AI 管理功能，例如目次、自动文档、审计跟踪和测试，以及针对 AI应用程序和署理的 AI 运行时查抄和实施，包括意图对齐、异常和安全检测以及自动阻止/补救，所有这些都以欧洲法规为重点，例如欧盟 AI 法案和 GDPR。它可作为 SaaS 平台或本地使用，通过市场尺度 API 作为应用程序/署理与重要   LLM 推理服务和服务器之间的署理集成。
Securiti	Securiti数据指挥中央	美国	2018	Securiti数据指挥中央为   AI 系统提供全面的安全与管理，包括保护影子 AI、构建安全的企业 AI 应用以及保护嵌入在 SaaS 应用中的 AI。Securiti 使用独特的知识图谱，使用细粒度上下文来实施符合 Gartner 的 AI TRiSM 框架、OWASP Top 10 for LLM 以及欧盟 AI 法案和NSIT 人工智能风险管理框架 (NIST AI RMF)等合规法规的安全控制。
TrojAI	TrojAI 防护 TrojAI检测	加拿大	2019	TrojAI通过对模子进行渗出测试以及及时 AI 运行时保护，为 AI 管理和模子运行时查抄提供了一个平台。AI 管理产品通过 AI 渗出测试获得的更多背景信息为 AI 运行时保护提供信息，从而在保护 AI 模子行为方面提供更正确、更有效的控制。
WitnessAI	Witness AI安全人工智能赋能平台	美国	2023	WitnessAI与常用工具集成，可检测影子人工智能、对对话进行分类，并为包括 Copilots 在内的人工智能应用程序的用户提供及时保护。WitnessAI为数据保护和有害响应提供了强盛的防护步伐，同时可扩展以保护模子和聊天机器人免受越狱和不良行为的影响。
Zenity	Zenity	美国	2021	Zenity从构建时到运行时管理和保护 AI 署理，提供纵深防御方法，使用深度署理行为监控和意图破坏检测功能来实现可视性和自动风险缓解。Zenity不光仅提供输入和输出，还可以查看署理正在执行的所有操作，并将业务逻辑驱动的 AI 安全态势管理 (AISPM) 与及时 AI 检测和响应 (AIDR) 相结合，以缓解风险、确保合规性并最大限度地进步 SOC 和 AppSec 效率。
Zerotrusted.ai	人工智能防火墙	美国	2022	其运行时保护使用模子集成和 LLM-as-a-Judge 来进步 LLM 输出的可信度和可靠性，同时最大限度地减少耽误。

泉源：Gartner（2025 年 2 月）

市场建议

人工智能领导者必须与整个组织的优点相关者合作，管理人工智能的信托、风险和安全。他们应该创建一个组织结构，用于订定和更新人工智能管理政策，以及评估和实施支持和执行这些政策的人工智能 TRiSM 技能。这将有助于组织系统地确保更安全、更可靠、更值得信赖和安全的人工智能使用。

组织起来后，人工智能领导者及其业务合作伙伴应该：

• 发现和盘点组织中使用的所有 AI，使用提供帮助的供应商的能力，如本指南的 AI 管理部分所界说。
  
• 重新审视并实施所有大概被人工智能使用的企业信息（包括结构化和非结构化信息）的数据分类、保护和访问管理。这将需要参与信息管理的不同团队之间的协作。
  
• 与法律和合规专家合作，通过合同界说第三方嵌入式人工智能应用程序中不可接受的人工智能使用或行为的责任和任务。
  
• 评估和实施分层 AI TRiSM 技能，以连续支持和执行所有正在使用的 AI 实体的策略。这包括企业拥有的 AI TRiSM 服务，以及前沿模子提供商提供的控制。评估来自Microsoft 、OpenAI 、Amazon Web Services (AWS)和Google等供应商的前沿模子托管提供商功能，并在得当的地方应用它们，但不要仅仅依赖它们：
  

o   企业必须拥有控制步伐，以执行其自身特定的 AI TRiSM 政策，同时保持提供商独立性。这样，企业就可以针对其用例使用最有效的托管 AI，无论是大型语言模子、小型语言模子、开源模子还是任何其他类型的 AI 工具。
o   没有充足资源自行组装这些服务的企业应该更多地依赖第三方嵌入式 AI 解决方案提供商来实现 TRiSM 控制。

• 确保独立于任何单一 AI 模子提供商，以便在 AI 发展以及更先进、更具成本效益的 AI 模子问世时实现将来的灵活性。TRiSM 服务有助于支持这种独立性。
  
• 连续监控供应商状况，了解预期的整合和新兴的 TRiSM 外包服务，以减轻系统集成和维护的负担。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。