文 | 绿盟科技团体股份有限公司 顾杜娟 杨鑫宜 王星凯 刘文懋 叶晓虎
企业数字化转型浪潮的到临促使人工智能技术得到了企业的广泛关注和重视。人工智能技术发展至今已经广泛应用到图像识别、天然语言处理等范畴，并取得了庞大的突破。随着网络空间逐渐成为数字经济发展的基石，网络空间的攻击面也不断地延伸和拓展，网络空间攻防双方信息的不对称性现象愈发显着。伴随着攻防对抗态势的升级，人工智能技术成为网络安全技术发展的肯定趋势之一。近年来，越来越多的企业和构造将人工智能技术与网络安全技术举行深度协同，人工智能技术在网络安全范畴的应用已经成为安全本领落地、发挥网络安全防御有效性和对抗高级持续性威胁（Advanced Persistent Threat，APT）等高级威胁最直接、最关键的环节之一。面对日趋白热化、持续化的网络攻防对抗情况，怎样将人工智能技术赋能网络安全面对着诸多挑衅。
近来 ChatGPT 因广泛应用先辈的人工智能技术而备受关注，人工智能技术在传统网络安全范畴一直被视为一把“双刃剑”。安全厂家可以使用人工智能驱动的安全工具和产品，主动化、智能化地应对大量网络安全攻击变乱。但黑客也可以利用同样的技术开发智能恶意软件步调并发起隐形攻击。本文将先容人工智能在网络攻击中的应用、人工智能技术在网络安全防御中的应用，以及 ChatGPT 这一备受瞩目的大语言模型（Large Language Models，LLMs）在网络攻防中的应用、自身风险及防御计谋。人工智能技术已经被全面应用于网络空间安全范畴，在应对数字化转型过程中的各类安全难题上发挥着巨大潜力。
一、人工智能在网络攻击中的应用
人工智能技术的发展促使攻击者引入机器学习、深度学习等方法，以提高网络攻击的主动化、智能化和武器化，近一半提高了攻击数量和复杂度，并加大了攻击被检测到的难度。人工智能技术从三个阶段助力网络攻击：攻击准备、攻击实施、攻击善后。
（一）攻击准备
网络攻击准备旨在侦查、研究攻击目的的敏感信息和漏洞，为后续设计攻击计谋提供信息依据和参考。在攻击准备中，攻击者引入机器学习和深度学习技术实现以下几个使命内容：
第一，口令破解。口令是防范攻击者入侵目的网络的一道紧张防线，一旦口令破解成功，攻击者就可以获取数据库的管理员权限和用户账号内的个人信息。为了完成口令破解，攻击者常常使用人工智能技术如 PassGAN、GENPass 等口令破解模型，它们基于天生对抗网络框架和长短期记忆网络 LSTM、残差网络 ResNet 等神经网络，主动学习口令分布，并可以或许在几秒内破解不超过六位字符的口令，同时天生丰富多样的口令。
第二，文本验证码破解。为了防止 DDoS 攻击，谷歌、百度、微软在内的很多企业在网页中引入了文本 CAPTCHA 主动化地区分步调和人类。基于字符分割的破解方案在面对 CAPTCHA 中越来越复杂和扭曲的字符时越发吃力，因此，深度学习的引入提高了文本验证码破解的通用性和有效性。例如，研究人员将天生对抗网络主动天生的文本验证码作为训练数据，再基于迁移学习微调文本识别模型，不但避免了收集大量真实验证码样本，在结果上也可以或许破解 33 种文本 CAPTCHA 方案。
第三，钓鱼攻击和垃圾邮件天生。马尔可夫模型、长短期记忆网络 LSTM、主动编码器 AE、天生对抗网络 GANs 以及大规模语言模型 LLMs 等人工智能技术可以作为主动天生邮件的有效工具。对于 Transformer、BERT、GPT 天生式大模型来说，制造钓鱼邮件和垃圾邮件的资本很低，只需给出关键提示词，这些模型就可以在秒级内天生大量逼真、切题的鱼叉式钓鱼邮件和垃圾邮件，继而成为钓鱼攻击和拒绝服务攻击的跳板。
第四，网络资产主动探测。网络资产探测旨在把握目的网络的装备属性、应用属性等资产信息，一般包罗操作系统探测、端口探测、IP 存活性探测、流量采集等。朴素贝叶斯分类器、支持向量机、决策树、随机森林、卷积神经网络等人工智能算法在网络资产指纹识别和特性匹配方面已经得到了应用，基于网络流量指纹、Web 指纹等范例的指纹数据，被训练和优化过的人工智能模型可以实现被动和主动的装备识别。
第五，漏洞发掘。漏洞发掘旨在发现和分析软件、系统生命周期中存在的安全缺陷。人工智能技术基于漏洞数据库中提取的漏洞知识和特性，实现漏洞主动发掘和预测。支持向量机、逻辑回归、决策树、随机森林等机器学习算法，以及卷积神经网络、循环神经网络、长短期记忆网络、图神经网络、天生对抗网络等常见的深度学习模型都已经在漏洞发掘范畴得到了广泛研究。这些算法基于软件度量、代码属性、文本语法语义特性，通过合理的数据处理、数据表征、模型构造与优化，可以或许主动地在智能合约、物联网、浏览器、二进制步调等目的上实现漏洞发掘，结合使用人工智能漏洞发掘技术和传统步调分析技术可以进一步提高漏洞发掘的性能和结果。
（二）攻击实施
在获取目的关键信息和发现有效漏洞后，攻击者就会实施漏洞利用、入侵、渗透等攻击行为。人工智能在以下几个方面赋能攻击实施：
第一，恶意软件天生。人工智能技术从帮忙恶意软件逃避检测、自主适应实行情况、天生恶意软件变体等多方面赋能恶意软件。Swizzor 恶意软件家族中已被发现的二进制样本高达数百万个，恶意软件天生速度之快正是借助机器学习算法主动天生恶意软件变体的本领，天生的变体在保有与之前版本相似特性的同时增加了攻击的隐蔽性，极大地推动了恶意软件的流传。
第二，漏洞利用。公开的安全漏洞报告、系统漏洞补丁、前期发掘到的漏洞信息均可以作为漏洞利用的数据源。而人工智能中的天然语言处理可以从中提取漏洞的特性信息，并主动化天生漏洞利用步调，从而引导后续的漏洞定位和攻击路径搜刮等过程。例如，SemFuzz 使用 NLP 提取 CVE 报告、Linux git 日志中的漏洞文本信息来主动天生 PoC exploits，同时发掘了未公开的漏洞。
第三，主动渗透测试工具。主动化渗透测试工具可以通过一键式完成渗透测试全流程，包罗漏洞信息收集、漏洞扫描、漏洞分析、漏洞利用、后渗透攻击以及报告天生等。例如，DeepExploit框架在 Metasploit 底子上使用 A3C 强化学习算法提升渗透测试的效率。而 Shennina 框架则使用人工智能技术实现了全主动主机渗透，此中人工智能负责主动识别可用的渗透方案、提供漏洞利用技术以及实行渗透测试等使命。
（三）攻击善后
攻击善后的紧张目的之一在于模糊、隐蔽攻击行为的存在与攻击意图，以提高攻击隐蔽性，降低被检测的风险。
第一，流量模拟。在攻击过程中产生的恶意流量经过检测和分析会袒露攻击信息，因此自适应地模拟正常流量是掩饰网络攻击的紧张方式。现有的人工智能流量模拟方案大多基于天生对抗网络及其变体 WGAN、WGAN-GP 等。GANs 通过学习正常流量的特性分布和表现，模拟天生的流量可以或许显著降低现有入侵检测系统的结果，极大地增强了恶意攻击的隐蔽性。
第二，攻击意图肴杂和掩饰。攻击意图的掩饰是恶意软件的一个紧张目的，运用机器学习和深度学习技术可以或许有效提高恶意代码的生存本领和免杀结果。例如，IBM 提出的恶意软件 DeepLocker 嵌入了深度神经网络 DNN，识别到攻击目的后实施针对性攻击，在隐蔽攻击意图的同时增加了攻击隐蔽性。除此之外，基于 GAN、强化学习框架天生的静态可实行文件可以或许成功绕过恶意软件检测机制。
二、人工智能技术在网络安全防御中的应用
由于攻击者会利用大数据分析、主动化工具等先辈技术来提升恶意攻击的效率和隐蔽性，倒逼网络安全防御突破传统网络安全防御阶段。研究人员逐渐运用人工智能技术直接或间接地提高网络安全防御效率，在实际攻防实战中快速地定位威胁攻击，提升网络安全防御的主动化、智能化程度。目前，人工智能技术在网络安全防御中的应用包罗以下几个方面：
（一）攻击检测
第一，网络入侵检测。为了提升网络入侵检测的性能，研究人员正在逐渐将深度学习网络，如卷积神经网络 CNN、循环神经网络 RNN，以及对抗神经网络和强化学习等技术应用到网络入侵检测中。固然这些技术已经取得了初步结果，但在大型动态系统中有效地实现基于人工智能技术的网络入侵检测依旧面对困难。
第二，垃圾邮件检测。基于人工智能技术的垃圾邮件检测方案已经发展多年。目前，谷歌表示基于人工智能技术的 Gmail 垃圾邮件识别率高达 99.9%。由于垃圾邮件的数量巨大，0.1% 的垃圾邮件依然会给用户带来很多题目。因此，怎样采用新的人工智能技术不断改善垃圾邮件检测技术依旧值得深入研究。
第三，恶意软件识别。目前大多数传统基于机器学习的恶意软件检测方法属于监视式学习，这些方法容易被攻击者绕过。研究人员通过利用强化学习技术提出了 DQEAF 框架，该框架通过不断与恶意软件样本举行交互来训练人工智能署理，利用强化学习方法来规避反恶意软件引擎，以突显近年来基于监视学习的恶意软件检测模型的弱点。
第四，加密流量检测。随着 TLS 加密技术在互联网上的遍及，怎样通过不解密的方式直接从海量的加密流量中检测出恶意流量是学术界和工业界非常关注的题目。从技术发展趋势来看，下一代技术是基于大数据的统计特性，即在大量数据上举行统计，基于统计的结论提取可以或许描述样本分布本质缘故原由的特性，这个过程将由擅长分析数据统计规律的人工智能来实现。但是在流量识别范畴，人工智能尚处于起步阶段，暂时不得当做最后一步的判定，而是得当数据处理和辅助决策，基于人工智能的加密流量检测将会是长期的研究课题。
（二）攻击防范
第一，漏洞修复。机器学习和深度学习算法可以实现漏洞主动化修复，及时补充系统缺陷。GenProg 使用遗传编程修补步调源代码，DeepRepair 在此底子上使用深度学习天生修复方案。由于漏洞范例繁多、漏洞定位困难等因素的存在，目前人工智能修复漏洞仍需要人工到场和研判。可靠的全主动化漏洞修复技术需要进一步的研究投入。
第二，攻击预测与拦截。通过学习已知漏洞的潜在特性，人工智能具备预测零日漏洞、未公开漏洞等未知威胁的本领。Check Point 的 Quantum Titan 平台利用深度学习技术防范网络钓鱼攻击和域名系统漏洞，相较于传统的签名防御技术实现了五倍以上的 DNS 攻击拦截率和四倍以上的零日钓鱼攻击拦截率。Darktrace 推出的 Antigena 人工智能产品检测网络中的访问行为、邮件传输、云端动态等活动中存在的非常行为和漏洞，及时主动阻断并拦截非常连接和操作，实现了自主相应网络攻击威胁。
（三）安全运营
基于人工智能在网络攻击和防御中的应用，进一步打造智能化、主动化的网络安全运营体系。
AISecOps（智能驱动安全运营）平台是安全运营与人工智能技术的融合，提供主动化非常行为分析、自适应防御计谋天生、告警评估和攻击研判等功能。目前 Splunk、Broadcom 等企业都在重点布局相关技术。AISecOps 技术内涵可概括为：AISecOps 技术以安全运营目的为导向，以人、流程、技术与数据的融合为底子，面向防备、检测、相应、预测、恢复等网络安全风险控制、攻防对抗关键环节，构建具有高主动化程度的可信托安全智能模型，以辅助甚至代替人提供各类安全运营服务。将来，在 AISecOps 技术主动化程度提升过程中，需要打造人机智能协同的算法、模型、系统与流程，才气不断地适应高级别的主动化安全运营场景。
三、大语言模型在网络安全中的应用
近来 ChatGPT 因广泛应用先辈的人工智能技术而备受关注，而让 ChatGPT 爆火的大规模语言模型（Large Language Models，LLMs）也引起网络安全界的高度关注，人们关注人工智能天生的内容工具所产生的影响，尤其是对网络安全的影响。人们担心，这些工具是否可以用于网络攻击或者防护？又是否暗藏新的网络安全隐患？
（一）大语言模型应用攻击和防御
根据现有研究资料和实践案例，LLMs 作为一种强大的人工智能技术，其在传统网络安全范畴的应用既包罗攻击性的应用也包罗防御性的应用。
第一，LLMs 被应用于网络攻击。LLMs 的出现降低了攻击门槛，即便是没有太多攻防经验的攻击者，也可以通过和 LLMs 举行对话，可以更容易地发起多项网络攻击使命，如钓鱼邮件天生、撞库攻击、恶意代码天生、漏洞利用、渗透攻击等。LLMs 也被用于天生假消息，散播不实信息，引发社会杂乱或舆论控制。
第二，LLMs 被应用于网络防御。防御者可以借助 LLMs 优化攻击流量分析、恶意代码逆向分析等使命，也可以使用 LLMs 举行主动化相应编排、检测规则编写或辅助安全变乱处理。LLMs 利用迁移学习微调各类攻击场景，以一个大模型检测各范例网络攻击，并与传统安全装备整合，助力传统安全产品革命性升级。
第三，LLMs 被应用于网络安全运营。LLMs 具备辅助建立网络安全运营体系的本领，可以或许承担安全运营体系的部分子功能，如构建安全运营知识库、担当人工智能技术客服或作战室管家、引导安全合规体系建立以及对各类制度文档举行主动合规迭代。微软提出利用基于 ChatGPT 的Security Copilot 举行辅助安全运营，并与微软拥有65万亿个网络安全威胁的安全模型库相结合使用，为企业、个人用户提供网络安全、恶意代码防护、隐私合规监控等主动化天生式人工智能服务。
（二）大语言模型自身风险与防御
LLMs 技术应用于网络攻防的同时，也带来了一系列新的安全风险。无论是作为攻击武器还是防御工具，LLMs 的引入都会因其自身脆弱性和自身面对的安全威胁给使用者带来额外的风险。
1. 可表明性不足导致的风险。现有研究尚无法清晰表明深度学习模型内部结构、神经元、参数的含义。透明性和可表明性的缺乏使得人们难以界定人工智能在网络攻防中的决策依据，也导致面对人工智能安全威胁难以有效地对症下药。
2. 内在脆弱性导致人工智能易受风险威胁。人工智能自身内在的脆弱性导致其易遭受到多种攻击，包罗但不限于对抗样本、后门攻击、对抗重编程、图像缩放攻击等。这些攻击大概会劣化模型性能、影响模型决策，严重时会引发人工智能系统瓦解。
3. 隐私泄露风险进一步增大。除了数据滥用、数据违规收集引起的隐私泄露风险外，人工智能算法还面对着成员推断攻击、模型反演、模型窃取等新型隐私窃取风险，数据信息、模型信息失窃的大概性增大。
4. 算法框架和开源底子库存在漏洞。常见的开源深度学习框架及其第三方 SDK 中包含着多种漏洞，此中作为主流框架的 TensorFlow 被发现在接口、学习算法、编译、部署和安装中都存在漏洞，利用这些漏洞将导致逃逸攻击、拒绝服务攻击、堆溢出攻击等威胁。
对 LLMs 上述风险，可以采取以下防御步伐提高人工智能系统的安全性：
1. 输入和输出过滤。可以设置过滤器，阻止 LLMs 模型天生或者担当某些范例的输入或者输出，好比有害的、冒犯性的或者不得当的内容。检测入模数据中的非常数据和离群值，抛弃或转化非常数据，避免影响模型结果。
2. 透明度息争释性。提供模型的工作原理和透明可审计的决策过程，以便用户可以或许理解和质疑模型的输出
3. 模型安全检测和防御。针对人工智能算法大概面对的投毒攻击、后门攻击等风险，设置基于特性压缩、局部本征维数等检测方案，同时采取对抗训练、数据增强等防御计谋，保障模型和算法的安全。
4. 检测和修复框架漏洞。基于开源漏洞信息和模糊测试、深度学习等技术扫描框架中潜在的安全漏洞，及时修复框架和第三方库中的漏洞。
5. 模型知识产权维护。限定模型访问频率肯定程度上可以缓解模型窃取攻击，而模型水印、指纹、签名技术可以识别和验证可疑模型是否为窃取模型，从而保障模型知识产权。
LLMs 技术的使用应该在持续的监视和调解下举行，以便及时发现和纠正题目。此外，以上防御步伐的实施需要思量到伦理、法律和社会因素，以确保新人工智能技术的使用是可靠和可持续的。
四、结 语
随着人工智能技术与网络安全攻防的融合，网络安全范畴正在全面、深刻地改变。恶意攻击者不断地向着规模化、构造化、军事化，攻击技术的主动化、智能化、武器化的方向发展。怎样基于人工智能技术与攻击者举行安全对抗，保障网络安全，愈发成为网络空间中攻防双方角力的重点。大语言模型技术将进一步推动网络安全攻防的变革。固然目前相关大语言模型技术在网络安全范畴的应用尚未成熟，存在诸多挑衅。但是谁能抢先找到相关技术与网络安全攻防的最佳结合点，就会把握在网络安全攻防博弈的主动权。因此，推动人工智能技术在网络安全攻防场景中不断走向实际应用，提升网络防御本领，对于网络安全智能不断走向成熟具有庞大意义。
（本文刊登于《中国信息安全》杂志2023年第5期）
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
