AI安全新纪元：智能体驱动的网络安全新范式
https://img-blog.csdnimg.cn/img_convert/718b9852ac2663a2663676bdbd60ff8b.gif近日，ISC.AI 2024第十二届互联网安全大会在北京盛大开幕。本次大会以"打造安全大模型，引领安全行业革命"为主题，旨在呼吁行业以大模型重塑安全体系，以保障数字经济的稳健发展。
在企业安全运营与策略实践论坛上，云起无垠首创人兼CEO沈凯文博士受邀出席，并以《AI安全新纪元：智能体驱动的网络安全新范式》为题进行了出色演讲。沈博士的演讲不仅提供了对当前AI安全领域的深刻看法，也为行业同仁提供了名贵的思路和启示，共同推动安全行业的创新与发展。
https://img-blog.csdnimg.cn/img_convert/ccc2acec05623f2e0c2bee1ee3936303.jpeg
新时代下的安全需求
数字经济和信息产业的迅速发展，在带来技术便利的同时，也加剧了网络安全风险。如今，企业提升安全运营能力的需求极为迫切，且要实现安全建设的常态化、体系化、高效化和实战化。人工智能（AI）技术的应用为安全运营带来了新的破局之法。其通过猜测分析、自动化相应以及智能监控等手段，能够资助企业有效地识别和应对安全威胁。
随着人工智能技术的持续进步，AI 已然成为安全领域创新发展的告急引擎。从传统规则到大数据，再到 AI 的广泛赋能，安全能力与日俱增。大模型赋能安全如今正处于探索阶段，有望为安全领域带来更为精准、智能的解决方案。
https://img-blog.csdnimg.cn/img_convert/af55787227129449603b1dfbd0d9bfbe.jpeg
在网络安全领域，传统解决方案面对诸多寻衅。首先，安全知识的利用存在困难，软件毛病问题频发。其次，攻防专家资源稀缺，导致安全团队的造就成本高昂，且专业安全人才的造就周期长达5至8年，甚至更长时间。此外，海量数据的分散存储和更新滞后，严重影响了检测服从。安全检测项目和工具固然浩繁，但大多数工作仍依靠于人工和专家知识，这不仅导致误报率高，而且审计验证过程高度依靠人工。
为了解决这些痛点，智能体解决方案应运而生。沈凯文博士表示，AI安全智能体通过自动化情报汇聚、策略指导和风险处置，极大提升了安全运营的服从。智能体能够自动整理和实时更新安全知识，基于情报和上下文进行精准高效的决议。同时，智能体还能根据需求推荐本地化安全知识，提高安全知识的利用服从。在多源检测数据的审计验证方面，智能体通过智能化手段减少了对人工的依靠，有效提升了安全有效性验证和告警处置的服从。这些优势表明，智能解决方案正渐渐成为提高网络安全运营能力的关键因素。
https://img-blog.csdnimg.cn/img_convert/14c752df22cd184ff4e00e5f1996f951.jpeg
最懂安全的AI专家智能体
依托技术积聚和行业探索，沈凯文博士表示，云起无垠致力于打造最懂安全的AI专家智能体，让新手变专家，让专家更专注。云起安全智能体通过其先进的AI技术和综合智能引擎，为网络安全领域提供了一个全面、高效、可靠的解决方案，推动了安全运营向更高程度的自动化和智能化发展。
此中，云起无垠的安全智能体解决方案创新优势价值主要涵盖如下两点：
· 提升底层的安全能力，降低工具的使用门槛
传统安全解决方案通常依靠于基于特性署名的传统威胁检测和基于算法的告警运营，这种方法容易导致威胁过载和误报漏报问题，人工排查成本高，技术难度大。而智能体方案，可以通过语义的方式收敛原来基于规则无法解决的误报和漏报的问题，提升安全工具的检测精确性，降低了人工排查成本。
https://img-blog.csdnimg.cn/img_convert/c32e97e22bbab0aa1ccd69a65079cac2.jpeg
· 改变现有安全团队的工作范式，服从更高、成本更低
如今，大多数安全团队仍采用以人为中心的工作模式。一个成熟的安全团队需要多名具备差异技术专长的安全专家，比方渗透测试专家、代码审计专家和毛病发掘专家。此外，还需要为专家们配备各种安全工具，如SAST工具、毛病扫描工具和Fuzzing工具等。当一个安全任务分配给安全专家时，他们需要进行人工分析并使用安全工具来解决问题，这种方式服从低下且效果因人而异。
未来的安全团队可能会由少量的安全专家和智能体构成。安全专家只需下达任务，智能体便会启动其模型能力，联合规划引擎、工具引擎、知识引擎和记忆引擎，自主明白安全需求，并对任务进行拆解与规划，然后使用工具高质量地完成任务闭环。
https://img-blog.csdnimg.cn/img_convert/0982b6e2b180743b3a3245efb577da21.jpeg
安全智能体实践
沈凯文博士表示，云起 AI 安全大脑平台集成了工具引擎、知识引擎，尚有大模型中的人类语言大模型和机器语言大模型（LLM），能为安全运营提供深度学习与强化学习的智能支持。该体系旨在借助人工智能（AI）技术，给研发工程师、安全工程师和测试工程师等差异脚色予以支持，保障从研发至运营各阶段的软件安全，以解决开辟安全场景、攻防渗透场景和知识检索场景的需求。
https://img-blog.csdnimg.cn/img_convert/cc2d0293d5fd628fe9706c30a6b93428.jpeg
云起无垠基于该领域的研究探索，云起无垠的无极AI安全智能体实践涵盖了技术和应用两个层面。
技术实践一：构建可落地的大模型研发生命周期
https://img-blog.csdnimg.cn/img_convert/62a5f3a2e284ac2bcb49f2662ba5ec1a.jpeg
沈凯文博士指出，大模型的研发生命周期应包罗四个步骤，这与造就“安全专家”的路径非常相似。
第一步：安全数据收罗与私有数据积聚
这一步着重于大量的安全数据收罗和私有数据积聚。其过程涵盖数据收罗、洗濯、标记及入库，最终构建成大模型数据库，此乃安全数据的底子。唯有具备这些数据，方可深入了解安全领域的知识。
第二步：构建基座模型评估机制
第二步是构建全面的基座模型评估机制。鉴于安全任务的特殊性，评估不止包罗自然语言处置惩罚能力，还涉及代码分析能力、二进制分析能力等差异维度。故而，在模型练习前，创建完备的评估系统极为关键。挑选更适宜的基座模型，有望带来出色的练习效果。此阶段可类比为挑选一位“有潜力的高中毕业生”。
第三步：继承预练习与安全知识监督学习
第三步为继承预练习，并开展安全知识的监督学习。若要让这位“良好的高中生”投身安全工作，就需其在大学学习网络安全相关专业知识，这雷同于继承预练习和监督学习，使基座模型具备更丰富的安全行业知识。历经此步练习，模型便从“高中毕业生”蜕变为“安全专业毕业的大门生”。
第四步：强化学习与安全场景知识加强
对于安全专业的应届大学毕业生而言，直接处置惩罚繁杂的安全任务颇为困难，易出现不对，因而需要告知其精确做法，这便是强化学习的效用。在实践中，云起无垠主要采用人类反馈强化学习及与 GPT-4 对齐的方案。完成这些步骤后，虽得到一个智能模型，但在实际运用时，仍需解决安全场景知识加强的问题。这涵盖提示词工程、流程工程、工具调用加强、检索加强天生加强等，分别弥补大模型在工具使用能力和细分领域安全知识方面的短板。经过这一步练习，安全专业的应届毕业生，就发展为能够实时掌握最新领域知识，并高效运用工具的“安全专家”。
通过将这些技术融合，我们最终可以构建出一个真正可用的产物级大模型，再通过外接工具引擎和知识引擎，就可以将大模型在差异的安全场景中实现商业化落地。
技术实践二：构建高可靠且稳定的安全任务交付能力
想要让模型成为智能体，还涉及许多工程化工作，如提示词工程和流程工程。相比从零开始练习一个模型，采用提示词工程和流程工程可以以更低成本提高大模型在交付安全任务时的精确性和高效性。
https://img-blog.csdnimg.cn/img_convert/5de92c6b7b833ecaf4c25f29a2111909.jpeg
应用实践一：AI Agent赋能毛病自动化发掘
模糊测试是一种公认的强大软件测试技术，能够有效检测安全毛病。然而，在实际应用中，这一技术面对测试驱动开辟难度大、种子变异服从低，以及安全缺陷修复成本高等寻衅。在本次应用实践分享中，沈凯文博士重点先容了云起无垠如何利用智能体来解决模糊测试驱动天生与代码修复问题的方案。
https://img-blog.csdnimg.cn/img_convert/1601741ae1b1639de435d9ecbab11dac.jpeg
传统的测试驱动天生大多基于专家知识或语法分析，技术门槛高且使用困难。为解决这一困难，云起无垠提出了基于“微调代码模型+代码详细布局+反馈”的驱动天生方案。其核心思路如下：
[*] 专家模型练习：根据驱动天生练习语料，练习专用于驱动天生的代码大模型。
[*] 驱动天生：通过静态分析引擎提取被测函数的上下文信息，构造天生测试驱动的提示词，再通过强化学习后的代码大模型输出测试驱动代码。
[*] 反馈优化：运行天生的驱动，监控运行情况，获取反馈信息，优化天生驱动的提示词，最终实现更高的验证通过率。
经过Google benchmark验证，云起无垠的天生策略天生了24个测试驱动，仅有22%无效驱动，优于Google的方案，表现出更高的可编译驱动比例和更低的无效驱动比例。
https://img-blog.csdnimg.cn/img_convert/55c6a2fd94c0656d741696f817567d6a.jpeg
应用实践二：AI Agent赋能毛病自动化修复
在毛病修复方面，传统毛病检测工具提供的修复建议通常呈现模板化特点，实际修复工作主要依靠专家经验和人工操作。高危毛病的修复难度大、时间长，已成为企业的核心痛点。在这种配景下，自动化修复工具成为刚性需求。
通过模糊测试引擎与练习后的代码大模型协同，不仅能够精准定位存在毛病的代码片断，还能够分析毛病成因。接着，利用缺陷信息天生提示词，作为大模型的输入。大模型根据这些提示词天生修复代码。更告急的是，模糊测试作为一种动态软件测试方案，可以重新运行毛病的真实触发用例，验证缺陷修复效果。若毛病修复失败，则进一步分析缺陷信息，优化测试代码的天生提示词。
经过验证，这一“大模型修复+模糊测试动态验证”的方案保障了代码修复率到达80%左右。
https://img-blog.csdnimg.cn/img_convert/3fe8eb8a445bf89b37f243e35a3cbfc6.jpeg
未来展望
人工智能技术已经为网络安全行业带来了亘古未有的厘革。随着大模型技术与安全智能体方案的日趋成熟，研究人员第一次看到了实现网络安全通用人工智能（AGI）的可行路径。详细来说，沈凯文博士以为，网络安全AGI的发展和落地实践将经历以下几个阶段：
https://img-blog.csdnimg.cn/img_convert/790c0809f575b4b5892d5d50196d92fe.jpeg
一阶智能-工具型智能体：解决特定任务
第一阶段主要聚焦于安全工具的智能化，即通过大模型、工具引擎和知识引擎的智能体方案，突破底层安全技术的效果瓶颈，提高自动化程度。
二阶智能-平台型智能体：覆盖细分安全场景
第二阶段的核心是通过大模型的明白与规划能力，将一阶的安全能力以工作流的形式进行编排调理，打造平台型智能体解决方案。这种平台型智能体不再仅聚焦特定安全任务，而是更像某个岗位的虚拟安全专家，能够拆解复杂的安全需求，对工作流进行规划，自主调理相应的工具型智能体，独立解决细分场景的全部安全需求。
三阶智能-网络安全AGI：多智能体方案协同，覆盖全部安全场景
从终局上讲，最终实现网络安全AGI的路径将是多二阶智能体方案协同，实现All in One的安全AGI解决方案，覆盖全部网络安全场景，交付全部网络安全任务。
写在末了
人工智能技术的广泛应用，为网络安全领域带来了更多可能性，未来，随着大模型等新兴技术的不停发展，云起无垠将不停加强技术研究与创新，不停探索更多更新的解决方案，应用与网络安全产业中，为行业发展助力。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]