ToB企服应用市场:ToB评测及商务社交产业平台

标题: 安恒信息采用英特尔至强可扩展处理器加速恒脑大模子推理助力实现智能安全 [打印本页]

作者: 海哥 时间: 2024-12-17 10:17
标题: 安恒信息采用英特尔至强可扩展处理器加速恒脑大模子推理助力实现智能安全
白皮书下载

“目前，安恒已将人工智能提升至公司焦点战略层面，着力推进恒脑 • 安全垂域大模子的研发与应用，以期加强产品竞争上风，并借此创新产品组合与解决方案设计，积极拓展既有产品和服务的功
能疆界，为客户带来更为宽广的价值创造空间。恒脑基于安恒深厚的人才积淀、丰富的实战数据以及长期积聚的宝贵履历，具备卓越的天然语言交互功能、强大的泛化适应能力和精准的逻辑推理能力。值得一提的是，通过与英特尔® 至强® 可扩展处理器进行深度适配和性能优化，可有效加速恒脑推理，助力用户构建起高效能、高性价比的安全垂域大模子体系，有力驱动了网络安全效
能的整体跃升与效率改善。”

— 王欣
安恒信息研究院院长、高级副总裁

挑战

在网络安全领域，大模子有望在网络安全分析、威胁检测、智能策略订定等方面饰演紧张角色。但要推动大模子在安全场景落地，不仅必要基于安全领域知识，训练/微调出高质量的安全大模子，还必要面临安全大模子在用户侧部署所需的性能、本钱和灵活性挑战。

性能挑战

即使是中小规模的安全大模子，其参数规模也远超平凡的 AI 模子，再思量到大模子海量的安全知识以及巨大的事务处理需求，会带来较高的算力开销，未面向 AI 优化的算力体系难以满足模子推理的吞吐、时延等指标要求。

本钱挑战

基于 GPU 的模子推理方案在性能上有突出体现，但是会带来额外本钱。如果可以或许利用广泛部署的 CPU 资源，将有助于低落模子推理本钱，获得更高的投资回报。

灵活性挑战

部署面向安全大模子的专用算力平台不仅泯灭时间，而且会带来一定的部署门槛，不利于安全大模子的快速部署。

概述

安全大模子正在为网络安全行业带来深度厘革，其强大的天然语言交互能力、泛化能力、推理能力，在威胁分析、报文解读、告警研判、指令转译、编排剧本生成和智能处置等方面有着出色的应用前景。但同时，安全大模子巨大的参数规模以及复杂的事务处理逻辑，对算力提出了新的需求，用户不仅渴望可以或许到达安全大模子推理的性能目的，还渴望可以尽大概低落安全大模子部署的门槛，并低落大模子部署和运营的总体拥有本钱。
杭州安恒信息技术股份有限公司（以下简称：安恒信息）推出了恒脑 • 安全垂域大模子体系（以下简称 “恒脑”），可助力用户主动识别和分析安全事件，学习和适应新的威胁模式，从而进步对未知威胁的检测能力。经过适配优化，恒脑可以在基于第四代英特尔® 至强® 可扩展处理器的服务器中实现高效模子推理。测试数据显示，内建英特尔® AMX 加速器的第四代英特尔® 至强® 可扩展处理器，可以为恒脑-7b、恒脑-14b 模子的推理提供卓越支持，相较上一代产品有约莫 15 倍以上的性能提升。

恒脑 • 安全垂域大模子体系

恒脑秉承让安全更智能、让智能更安全的使命，恒脑依托底层多源异构模子、算法调理引擎及海量安全知识，经过十余轮大规模增量预训练和数十次微调，具备威胁分析、报文解读、告警研判、指令转译、剧本生成和智能处置等能力，可根据各业务场量需求从容切换多种安全角色。

图 1. 恒脑架构
恒脑在架构设计上，创新性的引入模子适配层，使恒脑可平滑接入多种底子模子而无需进行针对性微调，大大提升了恒脑的部署灵活性；通过专项优化的算法调理引擎使推理使命可跨硬件、跨平台实行，加速模子推理保护算力投资；通过融入海量安全知识，使恒脑在安全领域具备多业务场景资深安全专家技能。
恒脑在功能开发上，通过研发智能问答、加强检索、研判驾驶舱、智能体等功能，一方面实现安全运营的智能化、一方面实现与客户本地知识融合，提升网络安全运营效率的同时更易于部署在客户私网情况。
恒脑在赋能应用上，通过开放接口、插件、原子能力等方式与现有安全产品或体系深度融合，赋能安全运营职员探索 “告警清零”、“隐患见底”、“事件闭环” 以及其他安全运营场景大概性。
采用第四代英特尔® 至强® 可扩展处理器

加速模子推理为了兼顾性能、本钱等方面的考量，恒脑利用第四代英特尔® 至强® 可扩展处理器应对中小规模场景的模子推理需求。第四代英特尔® 至强® 可扩展处理器通过创新架构增加了每个时钟周期的指令，每个插槽多达 56 个焦点，支持 8 通道 DDR5 内存，有效提升了内存带宽与速率，并通过 PCIe 5.0（80 个通道）实现了更高的 PCIe 带宽提升。第四代英特尔® 至强® 可扩展处理器提供了出色性能和安全性，可根据用户的业务需求进行扩展。借助内置的加速器，用户可以在 AI、分析、云和微服务、网络、数据库、存储等类型的工作负载中获得优化的性能。通过与强大的生态体系相联合，第四代英特尔® 至强® 可扩展处理器可以或许帮助用户构建更加高效、安全的底子设施。
第四代英特尔® 至强® 可扩展处理器在 AI 性能上更进一步。该处理器内置了创新的英特尔® AMX 加速引擎。英特尔® AMX 针对广泛的硬件和软件优化，通过提供矩阵类型的运算，显着增加了人工智能应用步伐的每时钟指令数 (IPC)，可为 AI 工作负载中的训练和推理上提供显着的性能提升。

图 2. 英特尔® 至强® 可扩展处理器为数据中心提供多种上风
在实际的模子推理场景中，恒脑采用了英特尔® 至强® CPU Max 9462 处理器，该处理器可支持高带宽内存 (HBM)。HBM 和 DDR5 相比，具多更多的访存通道和更长的读取位宽，理论带宽可达 DDR5 的 4 倍1 。处理用具有 64 GB HBM，每个内核可以分摊到凌驾 1 GB 的内存，对于包括大模子推理使命在内的绝大多数计算使命，HBM 可以容纳全部的权重数据，显着提升访存限制型的计算使命的性能。安恒信息对比了第二代/第四代英特尔® 至强® 可扩展处理器运行恒脑推理的性能，测试数据如图 3 所示，第四代英特尔® 至强® 可扩展处理器的模子推理性能实现了 15 倍左右的提升2 ，生成速度可以满足实际应用所需。

图 3. 恒脑推理生成速率测试
目前，采用第四代英特尔® 至强® 可扩展处理器的恒脑在智能问答、事件总结报告生成、报文研判等实际场景中得到了广泛应用。

图 4. 恒脑实现智能问答

图 5. 恒脑实现安全事件总结报告智能生成
收益

恒脑利用英特尔® 至强® 可扩展处理器进行推理加速，用户可以或许获得以下价值： • 用户可以或许高效处理百亿级别的安全知识条目，满足智能问答、事件总结报告生成等应用对于性能的需求。 • 用户可高效利用现有的 CPU 服务器资源进行推理，低落 AI 加速器部署与运维带来的本钱压力，实现更高的投资收益。 • 用户可获得由 AI 饰演的安全运营专家、安全渗透专家、安全培训导师等安全角色，从而提升安全运营能力，护航网络安全。
猜测

《中国安全大模子技术与应用研究报告 (2023)》以为，目前安全大模子落地场景以安全运营为主，一类是由安全大模子饰演“安全运营专家” 的角色，联合安全知识库，形成安全助手类产品，另一类是利用安全大模子提升安全检测及防御工作效率，涵盖入侵检测、恶意软件检测、漏洞扫描、暴露面监测等安全使命，在以上两类使命场景，搭载英特尔® 至强® 可扩展处理器的恒脑为用户提供了高效、高性价比、灵活的安全大模子部署选项，可助力用户主动识别和分析安全事件，学习和适应新的威胁模式，从而进步对未知威胁的检测能力。
未来，安恒信息将与英特尔在安全大模子方面进行进一步相助，包括采用新一代硬件平台，对于性能瓶颈进行软件优化等，以期进一步释放安全大模子的巨大价值。
关于安恒信息

杭州安恒信息技术股份有限公司成立于 2007 年，于 2019 年登陆科创板。作为行业向导者之一，安恒信息以 DAS（D 即 Datasecurity - 数据安全、A 即 AI、S 即 SecurityServices - 安全运营服务）为企业焦点战略支撑，构建起了涵盖网络安全、数据安全、云安全、信创安全、密码安全、安全服务等数字安全能力，为逾 10 万家政企单位提供数字安全产品及服务。
关于英特尔

英特尔 (NASDAQ: INTC) 作为行业引领者，创造改变世界的技术，推动环球进步并让生存丰富多彩。在摩尔定律的启迪下，我们不断致力于推进半导体设计与制造，帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边沿和各种计算设备，我们释放数据潜能，助力商业和社会变得更优美。如需了解英特尔创新的更多信息，请访问英特尔中国新闻中心 newsroom.intel.cn 以及官方网站 intel.cn。

实际性能受利用情况、设置和其他因素的差异影响。更多信息请见 www.Intel.com/PerformanceIndex 性能测试效果基于设置信息中显示的日期进行测试，且大概并未反映所有公开可用的安全更新。详情请参阅设置信息披露。没有任何产品或组件是绝对安全的。具体本钱和效果大概不同。英特尔技术大概必要启用硬件、软件或激活服务。英特尔未做出任何昭示和默示的保证，包括但不限于，关于适销性、得当特定目的及不侵权的默示保证，以及在履约过程、交易过程或商业惯例中引起的任何保证。英特尔并不控制或审计第三方数据。请您审查该内容，咨询其他来源，并确认提及数据是否正确。 © 英特尔公司版权所有。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。其他的名称和品牌大概是其他所有者的资产。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)