Gartner发布中国CIO和安全团队生成式AI指南：制定人工智能安全管理筹划的五 ...

ChatGPT 和大型语言模型是 GenAI 将如何塑造许多业务流程的早期迹象。中国的首席信息官和安全团队必须确保其组织安全正当地构建和使用 GenAI，并探索其对网络安全的影响（积极和消极）。

重要发现

• 许多中国公司已经开始使用第三方生成式人工智能 (GenAI) 应用程序或自行开发。但安全团队并不一定很快就能参与这些筹划，而且 GenAI 的安全控制仍在不断发展。
  
• 在安全领域，无论是恶意举动者还是防御者，在中国使用大型语言模型（LLM）和GenAI的实践案例都很少。这表明GenAI大概不会在短期内为安全防护带来显着的改善。
  
• 安全团队因努力跟上技术发展而精疲力尽。人工智能安全管理对于确保长期乐成至关重要。
  

建议
为了办理 GenAI 对组织安全筹划的各种影响，CIO 及其安全团队应：

• 全面了解GenAI 的功能及其在组织中的应用，以便管理相应的攻击面和安全风险。他们必要细致审查未受管理的 GenAI 消费和业务实验。
  
• 在低风险和直接的用例中试验“生成式网络安全 AI”的概念。这将建立信托并在管理新威胁和风险方面积累经验。
  
• 与法律、合规和业务线向导和团队等组织对应部分合作实施人工智能安全管理，创建确保人工智能使用安全的基本标准并适应人工智能的内涵复杂性。
  

分析
在中国， GenAI 和大型语言模型 (LLM) 在制造业、电子和半导体、能源和银行业等行业中显现出影响力和潜力。本研究戳穿了有关 GenAI 的炒作，并就中国 CIO 和安全团队如何快速适应快速变化提出了建议。

ChatGPT 的炒作程度、使用规模和采取速率提高了最终用户对 LLM 和 GenAI 的认识，并引发了一波商业实验和基于 AI 的初创企业浪潮。2023 年 4 月，Gartner 网络研讨会发现，在中国的 381 名与会者中，70%已经部署或筹划启动 GenAI 筹划。其中，6% 已经在生产情况中部署了 GenAI，26% 正在试用 GenAI，38% 处于规划阶段。

CIO 及其安全团队必要从四个方面为 GenAI 的影响做好准备。他们必要：
1.    确保企业筹划构建 GenAI 应用程序：AI 应用程序的攻击面扩大，并带来新的潜在风险，必要调整现有的应用程序安全实践。
2.    管理和监控组织如何使用 GenAI：组织正在探索在现有应用程序中嵌入 GenAI 助手。这些应用程序都有独特的安全要求，而传统的安全控制无法满意这些要求。
3.    利用生成式网络安全 AI 进行防御：现实上必要捉住 GenAI 机会来改善安全性和风险管理、优化资源、防御新兴攻击技术，甚至低竣工本。Gartner将生成式网络安全 AI 定义为将 GenAI技术应用于网络安全用例。
4.    准备好受到GenAI的攻击：由于 GenAI 工具和技术的发展，组织必须适应恶意举动者不断改进其技术或利用新的攻击媒介。
图 1 阐明了这一点。
图 1：生成式人工智能对首席信息安全官的关键影响

了解 GenAI 的功能和应用，以管理攻击面和安全风险
2023年5月，中国科学技术信息研究所正式发布《中国人工智能大模型图谱研究报告》。报告表现，大规模人工智能模型是中国蓬勃发展的趋势。停止2023年5月，中国已开发至少79个大规模模型，每个模型的参数超过10亿个。报告称，自然语言处理惩罚是最生动的领域。

无论安全隐患如何，会有更多企业采取 GenAI。

中国的企业正在为 GenAI 寻找更多的业务场景和用例。图 2 表现了五种重要部署方法。
图 2：生成式人工智能部署方法

CIO 及其安全团队面临与 GenAI 相关的几个关键问题：

• 我们组织中谁在使用 GenAI，出于什么目的？
  
• 他们如何部署 GenAI 和 LLM？
  
• 当员工与 GenAI 互动时是否会使用任何敏感数据？
  
• 我们如何管理安全风险？
  

这些关于 GenAI 安全性的问题反映了一种熟悉的模式。当云计算、大数据和社交媒体等其他技术发展作为数字化转型的一部分引入中国组织时，安全性也常常被抛在脑后——这种情况导致了不受控制的采取。任何管理新技术使用的“规则”往往从一开始就定义不明确。

然而，从过去的经验中可以吸取的一个教训是，随着新技术的使用不断增长，安全团队必要尽早辨认新的攻击面。在 GenAI 领域，新的攻击面重要有两类。

第一类涉及组织自建的 GenAI 或自训练的 LLM ，这些是组织自己拥有的资产。这些攻击面大概包罗：

• 生成的信息：由于这些信息未包罗在数据管理体系中，因此相关的数据安全控制未得到恰当实施。
  
• 训练数据：攻击者大概会尝试通过“毒害”GenAI 模型来操纵它们——向其提供有私见或恶意的训练数据，从而产生不正确或其他不良结果。
  
• 提示：对抗性提示，例如提示注入，是LLM被滥用的最令人担心的方式之一。当有人试图以非预期的方式做出 LLM 回答时，就会发生直接提示注入——例如，让它发表仇恨言论或有害的回答。间接提示注入才是真正令人担心的，更糟糕。该指令不是用户输入恶意提示，而是来自第三方；例如，LLM 可以读取的网站或正在分析的 PDF 文件大概包罗 AI 体系要遵照的隐藏指令。
  
• LLM 和 GenAI 应用程序中的安全漏洞：请参阅LLM 应用程序的 OWASP Top 10 。 
  

第二类源自组织的业务和 IT 部分对第三方 GenAI 的使用。这些新攻击面的示例包罗：

• 与组织体系集成的第三方 GenAI 组件（应用程序、模型、代码库）。这些组件大概会引发数字供应链安全问题，由于攻击者会试图利用第三方组件中的任何弱点，这些组件大概会作为微服务广泛部署在流行的商业应用程序中。
  
• 直接用户输入和 API：通过这些 GenAI 大概会泄露敏感信息，例如个人数据或知识产权 (IP)。
  
• GenAI 应用程序对受版权掩护内容的潜在使用：据报道，一些 GenAI 模型使用了他人创建的内容，这增加了侵犯版权和抄袭的风险。
  
• 未经授权的内部活动：内部人员大概会滥用生成 AI 工具，例如生成虚假文件或错误信息。
  

恶意举动者还可以使用 GenAI 作为诱饵（例如，通过启用对假冒 GenAI 应用程序的访问）来分发恶意软件或作为网络钓鱼活动的一部分。

建议：

• 与业务主管协作，定义工作流程以盘货、答应和管理 GenAI 的构建和使用。将这些工作流程集成到体系开发生命周期中。
  
• 例如，根据 GenAI 提供商的安全性以及他们为客户提供的有关退出和数据保存的计谋可定制性来选择它们。
  
• 在训练和微调模型时，评估数据安全选项和限制，特别是对准确性和任何额外本钱的潜在影响。请记住，《数据安全法》（DSL）和《个人信息掩护法》（PIPL ）的要求包罗个人有权要求组织删除其个人数据。
  
• 执行常规应用程序安全实践和控制，例如加密、多因素身份验证、数据匿名化和应用程序安全测试。
  
• 应用“AI TRiSM”原则并更新安全最佳实践以纳入AI应用要求（请参阅《如何安全地设计和操作机器学习以及信托、风险和安全管理中的生成AI创新指南》）。
  

利用生成式网络安全人工智能进行实验，建立信托并获取经验
攻击者已经在探索如何使用GenAI ，如果新技术的汗青可以作为参考，那么他们将在未来进一步利用它。另一方面，安全市场上的 GenAI 公告也提高了防御者对提高安全团队生产力和准确性的期望。对于 CIO 及其安全团队来说，最大的问题是如何将 AI 用于安全。

攻击者利用人工智能进行入侵行动仍然有限，重要涉及社会工程学。在《如何应对 2023 年网络威胁形势》中，Gartner 将使用人工智能的攻击者归类为不确定威胁。不确定威胁往往是真实存在的，但目的组织往往缺乏显着的直接和即时响应。中国首席信息官及其安全团队近期应关注的重要威胁载体包罗：

• 伪造：GenAI 可以创建逼真的人类声音和视频（深度伪造），使其看起来像来自可信泉源。这些可以绕过语音生物辨认和面部辨认等安全控制。
  
• 网络钓鱼：攻击者可以使用LLM背后的大量数据来创建令人佩服但虚假的数据，例如图像、视频和文本，以制作更逼真的网络钓鱼电子邮件。
  
• 社会工程学：GenAI 可用于创建看似真实的虚假社交媒体资料。攻击者可以利用这些资料来获取目的的信托，并诱骗他们提供敏感信息或点击恶意链接。
  
• 幻觉：当 GenAI 产生毫无现实依据的谬妄或虚假信息时，就被称为产生幻觉。这大概会导致对错误信息的过度依靠，也会导致安全风险，由于威胁举动者依靠用户对 GenAI 和 LLM 的信托来让他们下载或触发攻击。例如，AI 模型大概会产生一个代码库的幻觉，并反复向提出雷同问题的用户推荐它；如果黑客发现了这种幻觉，他们就可以创建一个想象中的库的“真实”版本——但内里充满了危险的代码和恶意软件。然后，AI 会继续推荐该代码库，用户会在不知不觉中下载黑客的代码。
  
• 密码破解：GenAI 可用于生成新的密码组合，以便对受密码掩护的体系进行暴力攻击。通过在现有密码和模式上训练 AI 模型，攻击者可以生成乐成率很高的新密码组合。
  
• 欺诈活动：攻击者可以使用 GenAI 创建看似正当的虚假文件，例如发票和收据。他们可以使用这些文件进行欺诈活动，例如账单欺诈。
  

在网络安全行业，各种会议、新闻头条和大型制造商都声称 GenAI 将显著改变网络安全防御。生成式网络安全 AI 技术通过从大量原始源数据库中学习，生成与安全相关和其他相关内容、计谋、设计和方法的新版本。

一些中国组织大概被限制使用来自外国安全供应商的 LLM 或商业产物。现在，中国的 CIO 及其安全团队重要依靠开源模型和中国供应商。

生成式网络安全 AI 在中国还处于非常早期的阶段。其开发必要安全专业人员的数据和知识，这对安全专业的法学硕士来说通常是一个挑战。这是由于中国大多数生成式网络安全 AI 产物只有少数选定的客户可以收集反馈。安全专业人员会使用 GenAI，但供应商过于乐观的 GenAI 公告大概会导致浪费和扫兴。区分炒作与现实是一项挑战。

使用生成式网络安全 AI 时面临的最大挑战之一是确保其准确性，从而最大限度地减少对业务运营的干扰。幻觉不太大概在短期内消除，因此关键用例仍然必要人工考核。避免倒霉影响的方法是重要在高度容错的场景中使用生成式网络安全 AI 进行实验，其次在安全团队可以轻松检测和纠正其错误的场景中进行实验。这将帮助您建立对该技术的信托并安全地得到使用它的经验。

中国第一波生成式网络安全人工智能用例包罗：

• 内容总结：使用自然语言和对话交互来生成安全报告、回答安全问题（对于非安全专业人士如开发人员和来自企业的安全专家特别有用）以及阐明攻击路径和时间线。
  
• 漏洞检测：突出表现提示中输入的代码片段中的问题，或扫描源代码。
  
• 安全审计帮忙：将合规性查抄点映射到组织的安全控制，并建议每个查抄点项目必要准备的证据。
  
• 威胁谍报：连续整合多源威胁谍报，并根据组织的优先级定制谍报。
  
• 缓解援助：对安全控制的改变以及新的或改进的检测规则的建议。
  

在下一波浪潮中，中国的首席信息官和安全团队将致力于进一步提高安全防御的效率，例如让 GenAI 分析告警、检测零日漏洞甚至执行主动响应。他们还希望使用 GenAI 主动化安全工程任务，例如为安全团队生成 SQL 查询、脚本和剧本的草稿（尽管这些仍必要人工查抄，并大概进行更新）。这些用例理论上可以办理安全运营中最大的问题，具有最高的价值。然而，它们在中国的实施将相称具有挑战性，原因如下：

• GenAI 和 LLM必要精致的安全知识、强大的推理能力和编码能力。在这方面，现在中国安全市场上的 LLM 远远落后于其他地方最先进的 LLM，例如 GPT-4。
  
• 生成式网络安全 AI 不能犯太多错误，尤其是大概导致业务中断的错误。这引发了问责问题，并增加了安全团队对直接从生成式网络安全 AI 应用程序的输出中主动执行操作的夷由。
  
• 有必要规划整合上卑鄙安全工具的投资。培训和开发 LLM 的本钱也很高。使用生成式网络安全 AI 的本钱大概比使用办理雷同用例的其他技术的本钱高得多。
  

建议：

• 尝试使用组织现有安全提供商提供的全新生成式网络安全 AI 功能。从支持应用程序安全和安全运营的选定用例开始。
  
• 对生成式网络安全人工智能的投资顺序如下：首先是人，其次是流程，然后才是技术。重点关注利用人类对生成内容的解释的威胁载体，而这些载体没有技术控制。
  
• 监控中国的行业统计数据，以衡量 GenAI 对攻击者格局的影响。
  
• 建立新的指标或扩显现有的指标，以便将生成网络安全人工智能与其他方法进行对比，并衡量预期的生产力改进。
  
• 选择符合相关安全用例的中国境内微调或专门化的LLM 。
  
• 准备并培训安全团队应对组织中使用 GenAI 的直接影响（对隐私、IP 和 AI 应用程序安全的影响）和间接影响（来自人力资源、财务和采购等其他团队的影响）。
  

实施人工智能安全管理，为安全使用人工智能制定基本标准并适应人工智能的复杂性
CIO 及其安全团队不应仅仅努力跟上新技术的发展。他们还必要规划和建立一致且有效的 AI 安全管理筹划，以应对 GenAI 采取的激增以及出现的任何新情况。

人工智能安全管理筹划应监督组织设置、技术和政策。其早期任务之一是制定所有构建或部署人工智能的团队必须遵照的标准，包罗安全人工智能开发、人工智能数据安全和人工智能安全应急响应的标准。

中国的首席信息官和安全团队应与相关长处相关者和组织对应方合作，建立五阶段的人工智能安全管理筹划（见图3和表1）。
图 3：人工智能安全管理筹划的五个阶段

表1 ：人工智能安全管理筹划的五个阶段及其重要活动

阶段	重要活动
1. 意识	此阶段重要是为了了解人工智能的现状安全状况。建立初始跨职能指导委员会为确保所有相关长处相关方的参与奠定基础。 具体任务：       盘货人工智能应用程序和服务。 了解威胁形势。 建立一个指导委员会——可以是专门的，也可以是现有人工智能指导委员会的一部分，也可以是现有网络安全指导委员会的一部分。
2. 发现和维护	这个阶段是发现过程真正开始的地方。在许多情况下，CIO 发现没有人负责 AI 安全，也没有人准确掌握企业中所有 AI 应用程序的清单。 具体任务：       根据业务影响辨认和分类用例。 辨认相应的攻击面。 进行安全风险评估。 初始化负责、负责、咨询和知情   (RACI) 矩阵。
3. 缩小差距	在此阶段，安全漏洞变得显着，为补救筹划奠定了基础。使用第三方 GenAI 应用程序或与供应商合作时，会定义选择标准和流程。 具体任务：       制定用户政策、培训和指导。 定义供应商选择流程和标准。 更新 RACI 矩阵。
4. 集成	在此阶段，初步的关键网络安全补救工作已经完成，重点转向连续监控和长期管理。 具体任务：       将人工智能掩护整合到会合式安全控制中。 定义指标。 加强指导委员会的参与和监督。 任命“安全大使”或“安全卫士”。
5. 优化	重点是优化网络安全工作，以实现业务弹性、运营差异化和增长。 具体任务：       培训安全和业务人员。 建立跨职能实践社区（CoP）和研讨会。 共享会合安全工具的访问权限和责任。

泉源：Gartner（2023 年 10 月）

在制定人工智能安全管理方案和政策时，与法律和合规部分的合作非常重要，以服从中国的安全法律法规。请注意：

• 现有的一样平常安全法律法规也实用于人工智能，例如 DSL、PIPL 和等保2.0 (MLPS 2.0)。
  
• 根据 2022 年 Gartner 中国 AI调查，在中国担当调查的组织中，最常见的 AI 用例是产物和服务个性化，41% 的受访者将其列为三大 AI 用例之一。此用例要求组织在训练阶段获取和使用大量个人信息。他们必须审慎应用个人信息的比例要求，根据该要求，个人信息的收集必须限制在处理惩罚目的所需的最小范围内；而且个人信息的处理惩罚必须对个人的权利和长处产生最小影响。
  
• 当中国企业使用国外 GenAI 产物时（无论是直接使用 ChatGPT 等产物，还是间接使用依靠海外第三方服务的国内 GenAI 应用） ，数据输入都会被传输至中国境外。这种未经安全评估和答应的出境传输大概会带来安全合规风险。《规范和促进跨境数据流动规定（征求意见稿）》 低落了出境数据传输的合规本钱，这大概会鼓励企业使用海外 GenAI 产物。企业应监测市场趋势，并在采购阶段决定是否允许 GenAI 应用进行出境数据传输。
  
• 中国许多行业对使用公有云都有限制，这对于使用公有云基础设施的 GenAI 产物来说很重要。此外，到现在为止，大多数基于云的中国 GenAI 提供商都没有提供企业级安全性。一些大型组织大概拥有平台、经验和能力来私人托管 GenAI 和 LLM。然而，许多中小型企业无法支持私人托管。他们的 CIO 和安全团队必要与合规部分合作，并与行业羁系机构密切沟通，以了解哪些公有云产物或使用方法适合他们，以及是否存在安全风险。
  
• 中国政府制定了专门针对人工智能的法律法规，例如《生成人工智能服务管理暂行办法》 。中国境内的组织在采购、使用或构建 GenAI 和 LLM 时必要满意这些法律法规的要求。
  

2023 年 8 月 15 日，国家网信办等六部分共同出台的《生成人工智能服务管理暂行办法》生效。这些措施对 GenAI 服务提供商规定了各种责任。例如，他们必须：

• 实时对“违法内容”采取行动，包罗暂停内容生成和传输、删除相关内容、通过模型优化等方式予以办理。
  
• 来自正当泉源的源数据和基础模型。
  
• 不侵犯他人的知识产权。
  
• 根据中国法律，在得到恰当同意或有正当依据的情况下处理惩罚个人信息。
  
• 不收集不必要的个人信息，不以可辨认个人用户的方式存储输入信息和使用记录，不向第三方披露用户的输入信息和使用记录。
  
• 确保与舆情或社会动员属性相关的GenAI服务颠末安全评估和算法备案。
  

建议：

• 建立或更新公司政策，明确列出AI安全管理规则，包罗所有必要的工作流程，并使用现有的数据分类来限制提示和第三方应用程序中敏感数据的使用。
  
• 快速向所有员工传达使用 GenAI 的最重要的规则，例如必要得到指定内部联系人的答应、对客户数据的使用限制以及如何记录、跟踪和审查 GenAI应用程序输出的规则。
  
• 制定用户政策、培训和指导，以最大限度地减少未经答应的 GenAI 使用以及侵犯隐私和版权的风险。
  
• 要求完成安全和人工智能法规所要求的影响评估，例如《生成人工智能服务管理暂行办法》。
  
• 对具有最高潜在业务影响的用例进行分类，并确定最有大概快速启动项目的团队。
  
• 优先思量对财务和品牌有直接影响的用例的安全资源参与，特别是面向客户的内容生成和面向客户的团队，例如支持中心。
  
• 为使用 GenAI 的供应商定义新的供应商风险管理要求。确保在选择 GenAI 供应商时有安全团队参与。
  
• 在采购 GenAI 产物时，要求供应商提供有关数据传输路径和数据存储位置的透明度。
  
• 在可用的情况下，优先思量企业用例的私人托管或单租户选项，由于它们提供额外的安全和隐私控制。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。