安全大模型，你“评测”过了吗？
https://img-blog.csdnimg.cn/img_convert/eddd49b969f88097f74f19bfbfdb161b.jpeg今年7月，2024世界人工智能大会暨人工智能全球治理高级别集会上发布的《人工智能全球治理上海宣言》提出，以人工智能技能防范人工智能风险，提高人工智能治理的技能本领；同时还鼓励各国联合国情，制定相应的法律和规范，创建风险品级测试评估体系和科技伦理检察制度。
确保人工智能在发展过程中的安全性、可靠性、可控性和公平性，就必须创建健全相关的标准、评测体系，为人工智能技能、大模型等的行业应用实践保驾护航。
令人欣慰的是，我国在安全大模型、与人工智能相关的网络安全的评估评测方面举行了诸多有益的探索，相关的测试标准、方法陆续发布，众多国内安全厂商也积极参与其中。
下面，我们以时间为线索，回首一下我国在安全大模型评测方面的主要进展。
赛迪顾问发布的《中国安全大模型技能与应用研究报告（2023）》深入分析了国内安全厂商在安全大模型方面的技能与应用现状，并对未来发展趋势举行了猜测。报告对安全大模型举行了定义：安全大模型是针对安全垂直领域的大型语言模型，通过大量的专业的安全知识举行设计和练习，使其具备处理海量数据和实行安全行业特定任务的本领，对于掩护企业和个人的信息安全、提高网络安全防护效率具有紧张意义。
2024年1月19日，国内首个网络安全大模型评测平台SecBenc正式发布。该平台由腾讯朱雀实行室和腾讯安全科恩实行室，联合腾讯混元大模型、清华大学江勇教授/夏树涛教授团队、香港理工大学罗夏朴教授研究团队、上海人工智能实行室OpenCompass团队共同创建，旨在通过创建安全大模型评测基准，从本领、语言、领域、安全证书考试四个维度，对大模型在网络安全领域的各方面本领举行评估，解决开源大模型在网络安全应用中安全本领的评估难题。
2024年4月30日，由公安部网络安全品级掩护评估中心牵头编写的团体标准《大模型系统安全掩护要求》和《大模型系统安全测评要求》正式发布。在此之前，业界标准大多偏重于练习数据和模型天生内容安全，没有以大模型系统安全作为对象的相关标准。《大模型系统安全掩护要求》的发布补充了这一空白。《大模型系统安全掩护要求》主要从通用安全和大模型系统全生命周期安全提出详细要求：通用安全从物理环境、网络架构等14个方面，提出大模型系统的根本安全要求；全生命周期安全覆盖设计开发安全要求、测试安全要求、部署与运行安全要求、退役安全要求等。
2024年7月，中国信息通讯研究院依托人工智能产业联盟（AIIA）安全治理委员会，联合多方研制了《安全大模型本领要求及评估方法》系列规范，包含5部分。其中，《安全大模型本领要求与评估防范 第1部分：总体框架》和《安全大模型本领要求与评估防范 第2部分：根本网络安全》已正式发布。系列规范明确提出，安全大模型包含三层：根本办法层，包含支撑大模型运行的算力、模型和数据；通用安全本领，包括安全问答、安全语言翻译、安全数据处理、安全任务编排、安全工具调用、安全告警研判、安全报告天生、大模型内生安全等通用本领；安全原子本领，包括安全大模型可具备的根本网络安全本领、数据安全本领、内容安全本领和业务安全本领。
2024年7月，中国移动研究院与赛迪研究院联合发布多款主流开源大模型评测结果，为业界开源大模型研发和应用提供客观参考。两边共同制定了大模型评测标准，从准确性、可靠性、安全性和交互性等多维度构建“弈衡”大模型评测体系，并且构建专属评测数据集，设计了涵盖文本理解、科学问题、逻辑推理、程序编写、隐私掩护和正当合规等场景的200余项评测指标。测试结果表明，尽管主流开源大模型整体本领仍落后于闭源大模型，但头部开源大模型提升趋势显着,在准确性和安全性方面超越多款主流闭源大模型。
2024年9月9日，在广州举行的国家网络安全宣传周网络安全技能高峰论坛主论坛上，正式发布了2024年人工智能技能赋能网络安全应用测试结果。本次测试活动由中心网信办网络安全协调局协同多家单元共同举行，旨在发掘人工智能技能在网络安全领域的应用潜力，推动网络安全产业整体技能水平不停提升。测试使用了华为的AI服务器、计算架构作为根本软硬件环境，设置了网络安全告警日志降噪、原始流量网络安全威胁检测、钓鱼邮件识别、恶意软件检测、软件缺陷分析与漏洞检测、网络金融用户账号敲诈登录行为检测等6个场景。测试结果表现，现在AI技能在“网络安全告警日志降噪场景、钓鱼邮件识别场景、恶意软件检测场景和网络金融用户账号敲诈登录行为检测场景”中具有较好的赋能效果。
2024年9月12日，在CCS2024成都网络安全系列活动期间，颁布了首批“安全大模型根本网络安全本领评估证书”，绿盟科技等七家网络安全厂商获证。
经过一年多的发展，人们对待大模型也越来越理性。“与其卷模型，不如卷应用”，渐渐成为共识。如何更好地利用大模型赋能生产应用，同时又避免大模型相关的安全问题，成了企业最关注的问题之一。创建相关技能和评测标准，安全、审慎、合规地使用大模型，才能让人工智能在更好地实现赋能的同时，又少走弯路。
假如您对安全大模型的评估评测有真知灼见，假如您的公司正在开发安全大模型，欢迎与我们分享。可以留言或加微信联系。
往/期/回/顾
从科技赋能到价值引领，东莞证券可进化的信创云创建启示录“智算”雄起 | 智算利用系统要“顶天立地”
360安全大模型为什么是“非卖品”？
“大模型”有本安全买卖经
邬贺铨院士：大模型赋能数字化转型和数字安全的新模式
https://img-blog.csdnimg.cn/img_convert/c4d5a1859f46b6818e08141f23a1aa1c.jpeg
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]