GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预练习Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模子（LLM）等安全范畴应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。
Security Papers
1. 探索检索增强代码生成中知识库中毒的安全威胁
简介：大语言模子（LLM）的集成显著改变了软件开辟范畴，尤其是通过检索增强代码生成（RACG）系统，这些系统利用外部知识库的信息来增强代码生成过程。然而，RACG系统的安全隐患，尤其是知识库中易受攻击的代码示例所带来的风险，尚未得到充分探索。这一风险尤为严重，由于RACG系统中的知识库通常泉源于公共代码存储库，而这些存储库对社区中的任何人都是开放的。恶意攻击者大概利用这种开放性，将易受攻击的代码注入知识库，从而污染知识库。一旦这些被污染的代码样本被检索并整合到生成的代码中，它们就大概将安全弊端传播到最终产品中。
本文初次全面研究了RACG系统相关的安全风险，重点探究了知识库中的易受攻击代码怎样危及生成代码的安全性。研究者通过利用四个主要LLM、两个检索器和两种中毒场景进行大量实验，分析了不同设置下LLM生成代码的安全性。研究效果表明，知识库中毒的威胁极为严重，即使仅有一个中毒代码示例，也大概危及高达48%的生成代码。这些发现为RACG系统中弊端的引入提供了重要看法，并提出了切实可行的缓解建议，有助于在将来进步LLM生成代码的安全性。
链接：
https://arxiv.org/abs/2502.03233
2. LLMSecConfig：一种基于 LLM 的修复软件容器错误配置的方法
简介：容器编排器（CO）中的安全配置错误对软件系统构成了严重威胁。只管静态分析工具（SAT）能够有效检测这些安全弊端，但业界目前缺乏主动化办理方案来修复这些错误配置。大语言模子（LLM）的出现及其在代码明白和生成方面的成熟能力，为办理这一限制提供了新的大概性。本研究提出了LLMSecConfig，这是一个创新框架，通过将SAT与LLM相结合来补充这一缺陷。该框架利用高级提示技术和检索增强生成（RAG）来主动修复安全配置错误，同时确保操纵功能的完整性。通过对1,000个真实Kubernetes配置的评估，该框架实现了94%的乐成率，并且在修复过程中引入新错误配置的概率保持在较低水平。这一研究为主动化修复容器编排器中的安全配置错误提供了重要进展。
链接：
https://arxiv.org/abs/2502.02009
3. 在可变上下文窗口下评估大语言模子在弊端检测中的作用
简介：本研究探究了标志化Java代码长度对十大主流大语言模子（LLM）在弊端检测任务中的正确性和明白性的影响。通过卡方检验并结合已知的真实数据，研究者发现不同模子之间存在显著差异：部门模子（如GPT-4、Mistral和Mixtral）表现出较强的稳健性，而其他模子则表现出标志化长度与性能之间的显著相关性。基于这些发现，研究者建议将来LLM的开辟应着重减少输入长度对性能的影响，以提拔弊端检测的效果。别的，采用能够在减少标志数量的同时保留代码结构的预处理技术，有望进一步进步LLM在这些任务中的正确性和明白性。
链接：
https://arxiv.org/abs/2502.00064
4. 利用 LLM 合成输入生成器进行低成本、全面的非文本输入含糊测试
简介：当代软件通常需要处理具有高度复杂语法的输入。只管大语言模子（LLM）的最新进展表明其在生成符合特定输入格式语法的高质量天然语言文本和代码方面表现出色，但LLM通常难以生成非文本输出（如图像、视频和PDF文件），或者生成成本过高。这一限制阻碍了LLM在语法感知含糊测试中的应用。
为了办理这一问题，研究者提出了一种新方法，用于对非文本输入进行语法感知含糊测试。该方法利用LLM以Python脚本的形式合成并变异输入生成器，从而生成符合给定输入格式语法的数据。随后，这些输入生成器产生的非文本数据由传统含糊测试工具（如AFL++）进一步变异，以有效探索软件输入空间。研究者将这种方法定名为G2FUZZ，它采用了一种混合计谋，结合了LLM驱动的全局搜索和工业级含糊器驱动的局部搜索。G2FUZZ的两个主要上风在于：（1）LLM擅长合成和变异输入生成器，并能够跳出局部最优解，从而在与基于变异的含糊器结适时产生协同效应；（2）除非必要，否则LLM的调用频率较低，这显著降低了LLM的利用成本。
研究者在多种输入格式（如TIFF图像、MP4音频和PDF文件）上对G2FUZZ进行了评估。效果表明，在UNIFUZZ、FuzzBench和MAGMA三个平台上测试的大多数步调中，G2FUZZ在代码覆盖率和错误检测方面均优于AFL++、Fuzztruction和FormatFuzzer等当前开始进的工具。这一研究为非文本输入的语法感知含糊测试提供了新的办理方案，并展示了LLM与传统含糊测试工具结合的巨大潜力。
链接：
https://arxiv.org/abs/2501.19282
5. Rule-ATT&CK Mapper (RAM)：利用 LLM 将 SIEM 规则映射到 TTP
简介：随着网络攻击频率不断攀升，正确、高效的威胁检测系统愈发重要。SIEM 平台借助基于规则的查询（即 SIEM 规则）分析日记数据、检测对抗运动，意义重大。威胁分析过程的效率，在很大程度上依赖于将这些 SIEM 规则映射到 MITRE ATT&CK 框架里的相关攻击技术。倘若 SIEM 规则注释禁绝确，就大概造成对攻击的误解，进而增加威胁被忽视的风险。
当前，利用 MITRE ATT&CK 技术标签注释 SIEM 规则的方案存在明显不足。手动注释 SIEM 规则不仅耗时，还容易出错；基于 ML 的方法主要聚焦于注释非结构化的自由文本源，而非 SIEM 规则这类结构化数据。结构化数据包罗的信息每每有限，这让注释过程更加复杂，极具挑衅性。
为了攻克这些难题，研究者推出了 Rule-ATT&CK Mapper（RAM），这是一个全新框架，它能利用 LLM 将结构化 SIEM 规则主动映射到 MITRE ATT&CK 技术。RAM 的多阶段管道受提示链技术开导，无需对 LLM 进行预练习或微调，就能提拔映射正确性。研究者运用 Splunk Security Content 数据集，借助多个 LLM（比方 GPT-4-Turbo、Qwen、IBM Granite 和 Mistral ）对 RAM 的性能睁开评估。评估效果表现，GPT-4-Turbo 表现卓越，这得益于其丰富的知识库；一项溶解研究则强调了外部配景知识的重要性，它能克服 LLM 隐性知识在特定范畴任务中的局限性。这些研究效果表明，RAM 在主动化网络安全工作流程上颇具潜力，也为该范畴将来发展提供了有代价的看法。
链接：
https://arxiv.org/abs/2502.02337
6. 利用大语言模子简化安全弊端分类
简介：安全弊端的 Bug 分类是软件维护的重要环节，它能确保最告急的弊端得到及时修复，从而维护系统完整性和掩护用户数据。然而，这一过程资源消耗大，还面临诸多挑衅，比方对软件弊端进行分类、评估其严重性，以及处理大量的 Bug 报告。
在本文中，研究者提出了 CASEY，这是一种借助大语言模子（以 GPT 模子为例）的全新方法，它能主动辨认安全弊端的常见弱点枚举（CWE）并评估其严重性。CASEY 运用了提示工程技术，同时整合不同粒度级别的上下文信息，以此辅助 Bug 分类过程。
研究者利用增强版的国家弊端数据库（NVD）对 CASEY 进行评估，采用定量和定性指标，从 CWE 辨认、严重性评估及其综合分析等方面来权衡其表现。效果表现，CASEY 的 CWE 辨认正确率到达 68%，严重性辨认正确率为 73.6%，两者的综合辨认正确率为 51.2%。
这些效果表明，大语言模子在辨认 CWE 和严重性级别、简化软件弊端管理，以及提拔安全弊端分类工作流程效率等方面具有很大潜力。
链接：
https://arxiv.org/abs/2501.18908
7. DarkMind：定制LLM中潜伏的头脑链后门
简介：随着对个性化 AI 办理方案的需求日益增长，定制的大语言模子（LLM）成为企业和个人的优先选择。这一趋势推动了数百万个 AI 代理在各类平台上的摆设，以 GPT Store 为例，其上托管了超过 300 万个定制的 GPT。定制 LLM 的盛行，部门归因于诸如头脑链（Chain-of-Thought）等高级推理能力，这些能力提拔了它们处理复杂任务的水平。
然而，定制 LLM 的迅速遍及也带来了新的安全隐患，尤其是在很大程度上尚未被充分探索的推理过程中。研究者提出了一种新型后门攻击 ——DarkMind，它利用了定制 LLM 的推理能力。DarkMind 的设计目标是保持埋伏状态，在推理链中激活，机密改变最终效果。与现有攻击方式不同，它无需向用户查询注入触发器即可运行，这使其成为更具威胁性的安全风险。
为了验证 DarkMind 的效果，研究者在八个数据集上，利用五个开始进的 LLM 以及五种不同的触发器实现，对 DarkMind 进行了评估，这些数据集涵盖了算术、知识和符号推理范畴。研究效果证明了 DarkMind 在所有场景中的有效性，凸显了其影响力。
最后，研究者探究了潜伏的防御机制，以降低 DarkMind 带来的风险，强调了实施更有力安全步伐的必要性。
链接：
https://arxiv.org/abs/2501.18617
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
