安全和风险管理向导者面对运营挑衅、合规性问题以及针对 AI 体系的攻击。这项 Cool Vendor 研究确定了采用创新方式保护 AI 应用程序、支持 AI 信托、风险和安全管理功能的供应商。
紧张发现
- 安全和风险管理向导者需要升级数据和应用安全实践，以防止针对其组织开发的新 AI 应用的变乱和潜伏漏洞。
- 目前已有框架和指南可用，比方人工智能安全、风险和安全管理 (AI TRiSM)，它强调了减轻人工智能和网络安全风险的功能领域。然而，人工智能安全提供商提供的功能重叠且不成熟，增加了辨认必要控制的复杂性。
- 应用和数据安全团队常常各自为政，导致数据保护工具被作为独立产品购买。这种缺乏协调的情况通常意味着缺乏人工智能安全测试技能来确认有效的数据安全实践。
- 安全团队的技能顾问缺乏基准、偕行反馈或方法来评估什么是充足好的安全性。这对良好的评估是倒霉的，由于产品演示可能令人印象深刻，但并不肯定能转化为大规模的有效摆设。
建议
参与确保企业 AI 计划的安全和风险管理向导者应该：
- 通过安全团队的培训和知识共享，创建充足的人工智能素养。确保参与人工智能应用计划、开发和运行时的团队能够辨认新的攻击面和现有防御中的漏洞。
- 举行试点和实验，以评估专用的AI运行时防御技能怎样使用提示注入来资助防止AI滥用，或实验对超出其原始范围的AI应用举行越狱。
- 通过在开发早期集成数据保护技能以及在持续集成/持续交付（CI/CD）流程中举行 AI 安全测试来缓解隐私和数据安全问题。
- 在不忽视安全运营团队的情况下，在每个步骤中启动改进。管理与 AI 体系相干的新警报需要监控变化。
战略规划假设
到 2025 年，生成性人工智能将导致保护其所需的网络安全资源激增，从而导致应用和数据安全方面的支出增加 15% 以上。
分析
本研究并非任何特定技能领域的细致供应商清单，而是旨在突出有趣、新奇和创新的供应商、产品和服务。Gartner 对本研究不作任何昭示或暗示的包管，包括任何适销性或特定用途适用性的包管。
需要知道什么
除了数据和应用安全方面的传统风险（所有这些风险仍旧很紧张）之外，使用人工智能技能本身还会带来更多具体的风险。企业加大了使用和构建人工智能程序的力度。他们需要在技能生命周期的所有阶段实行人工智能护栏和特定的隐私、质量、可靠性和安全控制。AI TRiSM 支持参与支持其组织人工智能计划的安全和风险管理向导者应对这一多方面的挑衅，以及他们需要与人工智能向导者相助实行所需的安全措施。
Gartner 通过一系列产品观察安全软件开发生命周期 (SSDLC)中 AI TRiSM 关键领域的技能创新，这些产品通常包括：
- AI 运行时防御 ( AIRD )：这些工具旨在为企业开发的应用提供 AI TRiSM 的“AI 运行时强制执行”功能。现在，它们紧张提供近乎实时的安全控制，以抵御针对 AI 应用程序的新形式攻击，比方即时注入和越狱。它们通常包括更简单的 AI 内容非常检测（“护栏”），以检测有害和有毒的输入，甚至是幻觉和轻渎。一些提供商提供这些工具的专门版本（比方，M365 Copilot 的 AIRD、GitHub Copilot 的 AIRD）。
- 人工智能安全测试(AIST)：这些技能可主动创建和运行人工智能体系的输入和输出主动测试。越来越多的技能专门用于支持安全团队为大型语言模型 ( LLM) 聊天机器人执行人工智能红队演习。它们提供工具来主动测试模型对对抗性输入的反抗力，还可以验证在人工智能应用程序堆栈中或人工智能聊天机器人前面实行的控制的影响。
另有其他功能可用，比方根据员工使用商业第三方 AI 应用程序（比方 ChatGPT）的活动来监控和执行策略的专门控制，或专注于与安全标准保持同等的模型管理工具，比方 NIST AI RMF 。这份 Cool Vendor 文档只能重点介绍提供这些功能的少数供应商，但 AI 安全市场领域并不缺乏酷炫的东西。
安全和风险管理向导者应该预料到工具之间的功能重叠和边界暗昧。AI TRiSM 更广泛地概述了有效治理 AI 信托、风险和安全所需的所有功能。确保应用程序安全团队在 AI 网络安全治理原则的引导下运作非常紧张。
随着大量创新的涌入，Gartner 发布了《信托风险和安全管理中的生成式 AI 创新指南》和《数据安全中的酷供应商》，其中包括许多其他有趣的公司和有前景的功能。同样，只管网络和云安全提供商不绝取得希望并提供可用产品，但本文档重点关注保护企业应用程序的专业 AI TRiSM 提供商。本文档也不涵盖 AI 在网络安全中的用途。
HiddenLayer
美国德克萨斯州奥斯汀（hiddenlayer.com ）
为什么很酷： HiddenLayer 的酷炫根源在于其在 AI 应用的整个生命周期内测试 AI 安全性的方法。其产品套件包括对抗模型测试，该测试在今年早些时候因其模型扫描仪集成到 Microsoft Azure AI Studio 目次中而得到认可。HiddenLayer 还提供安全态势管理控制、扫描模型工件、检查模型完整性以及使用 Mitre Atlas TTP 映射扫描结果。
通过提供不但适用于 LLM 应用，还适用于其他类型 AI 资产的功能，HiddenLayer 可以测试盘算机视觉或信用敲诈等领域的多种类型的模型。该供应商还提供扫描公共模型存储库以检测恶意或受损模型的服务。
HiddenLayer 还提供运行时 AI 防御，不但限于生成式 AI ( GeneAI ) 应用，以及较新的即时监控组件。它可以实时检测和报告非常，包括即时注入或越狱等攻击、个人身份信息 ( PII) 泄露以及旨在改变模型行为的攻击类型。该供应商正在发布 AI 安全测试模块作为其平台的一部分，预计将于 2024 年上市。
挑衅：作为一家试图办理 AI 安全多个领域并超越 LLM 专属产品的初创公司，HiddenLayer必须保持强劲的发展速度，同时保持对更传统安全供应商的上风。供应商需要简化其跨各种仪表板和视图的用户工作流程，以促进可以使用其办理方案的多个角色之间的协作。
谁应该关注：首席信息安全官（CISO）必须在运行时保护AI应用，并需要确保AI团队在整个AI开发生命周期中充实实行安全测试。
Holistic AI
英国伦敦（holisticai.com ）
为什么很酷：Holistic AI 的酷炫之处在于在 AI 应用开发的多个阶段监控、控制和降低 AI 应用风险的详细而细致的过程。该供应商为第三方或第一方模型提供安全和风险管理功能，包括偏见检测、稳健性和隐私风险评估，并支持干预以提高模型正确性和公平性。Holistic AI 支持针对各种法规的专门 AI 模型审计，比方欧盟 AI 法案和纽约市偏见检测法规。
Holistic AI 通过生成和使用合成数据来测试和审盘算法，从而支持隐私保护。算法审计功能与治理平台（AI 发现、库存、监控和风险管理）、合规性概述和法规跟踪器相结合，以提供全球和区域见解。Holistic 的审计控制有助于检测专有和第三方设置的 GenAI 模型中的隐私、可解释性和公平性、轻渎和有毒语言问题。
末了，Holistic AI 通过全面的知识库提供全球监管见解，并通过 AI 治理培训活动提高认识。实用引导包括行业（比方，特定州或国家的风险缓解信息）。
挑衅：许多供应商强调使用人工智能来加强功能，但 Holistic AI 的“跟踪器”模块上没有类似聊天机器人的精细界面，这让从全球覆盖存储库中获取所需精确信息变得更加容易。这种情况只会变得更糟，由于预计在可预见的将来，所需资源和法律解释或参考资料的数目将快速增长。
谁应该关注：负责 AI 治理、信托、合规性和安全性的安全和风险管理或数据和分析领域的向导者应该评估整体 AI。他们必须实行 AI 治理技能来支持企业政策和法规合规性。
Lasso Security
以色列特拉维夫（lasso.security ）
为什么很酷：Lasso Security 提供专门的LLM 安全功能，重点是防止员工滥用、错误或恶意活动。这包括他们是否使用第三方聊天机器人、开发 LLM 驱动的应用的组织或使用带有嵌入式 GenAI 功能（如GitHub Copilot ）的IDE的开发人员。
该供应商的仪表板可以发现使用最多的应用和具有高风险行为的用户。Lasso 的管理控制台支持基于用户角色和以自然语言表达的查询和响应上下文的自定义主题稽核，具有内联内容编辑和预定义类别，比方敏感信息检测。其专门的GitHub控件可以突出显示和屏蔽与代码助手服务器共享的敏感数据，并提供即时安全扫描。
挑衅：Lasso 的聊天机器人保护产品紧张以欣赏器扩展的形式摆设，这可能会在某些组织中造成摩擦。该供应商规模较小，近来已扩展到保护定制企业 AI 应用。在更强的重点和扩大覆盖范围之间做出选择是初创公司最困难的决定之一，而像 Lasso 这样的 GenAI 初创公司需要做出精确的选择——也许在将来几年内需要多次做出选择。
谁应该关注：参与执行 GenAI 使用政策的安全和风险管理向导者需要了解和研究超越应用基天职类的办理方案的优点，以更好地了解用户的实际行为。应用安全向导者应该调查专注于定制企业 AI 应用程序的控制。
Privya
以色列特拉维夫( privya.ai )
为什么很酷：Privya 可在软件开发过程中主动执行隐私评估，以便尽早发现息争决数据保护违规行为。其办理方案以非侵入方式扫描代码，以检测使用了哪些（个人）数据、怎样使用以及由谁使用，从而在操作的最早时候检测出隐私违规行为。
其 LLM 用法可以将代码作为自然语言提取，验证和匹配目的列表以评估数据的精确使用，并创建风险概览和调停措施。其模型的训练包括来自 100 多个全球和区域标准的合规控制，包括 NIST 和欧盟 AI 法案标准。经过多个开源和 Github 存储库的训练，生成的向量允许 LLM 通过单次扫描检测操作之间的相似性。
扫描集成在 CI/CD 管道中，从代码存储库举行，因此不会对生产产生影响。每次提交时，都会提取代码、扫描代码、分析数据使用情况，并在检测到潜伏违规行为后删除代码，不保存内容，以确保其机密性。违规行为可能包括不当使用（个人）数据、凭证泄露或意外包罗任何第三方或 AI 模型。
这种“左移”方法是隐私工程的一部分，将隐私控制推进到应用或流程的开发和操作阶段。左移的停滞通常是容量（访问代码而不妨碍操作）和成本（投资审查可能数千行的代码并举行细微修改）。
挑衅：与当今 GenAI 的情况一样，正确性是每个 LLM 纳入的关注点。第三方设置的民主化 (Gen)AI 的适用性显而易见，但非受控模型的可行性充其量仍不明确。用户必须能够访问代码，因此它无法与第三方设置的 GenAI 一起使用，比方，它通常仍旧是一个黑匣子。
谁应该关注：负责确保合规性并评估其开发的应用内的隐私风险的应用和安全及风险管理向导者应该评估 Privya 的功能。人们已经付出了许多艰苦的积极来回顾性地明白数据处理活动，但通过左移代码隐私评估举行主动控制必须放在每个人的头上。
这包括检测未经授权使用第三方技能的风险、不受信托的 AI 模型的使用以及非个人数据（比方密码）的机密性风险。对于那些希望进一步主动化隐私功能的人来说，数据发现工作和处理活动记载的附加信息是额外的福利。
Robust Intelligence
美国加利福尼亚州旧金山 ( robustintelligence.com)
为什么很酷：Robust Intelligence 使用攻击性安全研究、威胁谍报和机器学习，以算法方式为企业 AI 应用程序创建测试和控制。这种组合资助 Robust Intelligence 创建了一个对抗模型测试产品（“AI 验证”），摆设在开发和预生产步骤中。
该供应商参与AI 安全标准创建的过程也体现在运行时检测产品中，其中 AI 安全性（比方毒性）和安全性（比方即时注入）检测直接在各个仪表板中列出了 OWASP 前 10 名、美国国家标准与技能研究院 ( NIST) 和 Mitre Atlas 类别。Robust Intelligence 的摆设选项使其能够执行包括 RAG 管道在内的控制和验证，或检查与企业向量数据库的同等性。
挑衅：Robust Intelligence 不提供专门的工具来保护现成的 AI 应用使用，比方 ChatGPT（它可以通过 API 集成来实现）或嵌入式企业 AI 应用（比方 Copilot）。2024 年 8 月，思科宣布有意收购 Robust Intelligence，并在本文档发布之前完成了收购。这可能会影响将来的蹊径图和 Robust Intelligence 前景决策。
谁应该关注：负责为企业 AI 应用实行安全开发和运行时控制的安全和风险管理向导者应该评估怎样与 AI 偕行相助添加对抗性测试。实行运行时控制将需要额外的积极来构建监控和变乱响应流程。与 Robust Intelligence 等供应商相助，尽早摆设检测功能可以资助主动消除最常见的问题。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
