【论文速读】| LLMCloudHunter：利用大语言模子（LLMs）从基于云的网络威胁谍报（CTI）中自动提取检测规则
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9ibG9nX21pZ3JhdGUvMDI3NDIzODk1M2I3ZDQyYTc1ZDk1ZjBhZTgwN2ZmODkuanBlZw==本次分享论文：LLMCloudHunter: Harnessing LLMs for Automated Extraction of Detection Rules from Cloud-Based CTI
根本信息
原文作者：Yuval Schwartz, Lavi Benshimol, Dudu Mimran, Yuval Elovici, Asaf Shabtai
作者单元：Ben-Gurion University of the Negev, Department of Software and Information Systems Engineering
关键词：网络威胁谍报(CTI)、大语言模子(LLM)、威胁狩猎、云、Sigma规则
原文链接：https://arxiv.org/abs/2407.05194
开源代码：暂无
论文要点
论文简介：随着网络攻击数量和复杂性的增长，威胁狩猎已成为自动安全的关键方面，可以大概在威胁造成巨大侵害之前举行检测和缓解。开源网络威胁谍报（OSCTI）是威胁狩猎者的紧张资源，但通常以非结构化格式提供，须要进一步的手动分析。本文提出了LLMCloudHunter，这是一个新颖的框架，利用大语言模子（LLMs）从文本和视觉OSCTI数据中自动天生通用署名检测规则候选。研究者利用12个解释的现实云威胁陈诉评估了所提出框架天生的规则的质量。效果表明，研究者的框架在正确提取威胁举动者API调用方面到达了92%的准确度和98%的召回率，而且在天生的检测规则候选乐成编译并转换为Splunk查询方面到达了99.18%的乐成率。
研究目标：在技能快速发展的配景下，网络攻击的数量和复杂性明显增长，传统的被动防御步调已经不敷以应对这些威胁。威胁狩猎是一种自动搜索和缓解未被检测到的威胁的方法，旨在紧缩入侵与发现之间的时间窗口。开源网络威胁谍报（OSCTI）是威胁狩猎中广泛利用的信息泉源，但由于其非结构化的特性，通常须要手动分析才华得出故意义的见解。本文的研究目标在于开发一个利用大语言模子（LLMs）的框架，可以大概自动从非结构化OSCTI中提取检测规则，从而进步威胁狩猎的服从和正确性，特别是在云环境下。
研究贡献：
1. 提出一个基于LLM的新框架，可以大概从非结构化OSCTI中自动天生Sigma规则候选，集成了文本和视觉信息，固然框架紧张针对云环境，但可以实用于本地环境相干的CTI。
2. 提供了一个包罗12个云相干OSCTI帖子的解释数据集，支持框架的练习和评估。
3. 提供了关于LLM在网络安全复杂NLP使掷中的应用见解，涉及提示工程技能和模子特性参数的有用利用。
4. 举行了全面的评估，评估了天生的Sigma规则候选的正确性和准确性。
5. 将研究者的代码和云CTI数据集在GitHub上公开，供研究社区利用。
弁言
随着技能的快速发展和数字化进程的推进，网络攻击的数量和复杂性也随之增长，导致与这些技能进步相干的安全风险日益突出。为了应对这些风险，构造在传统的被动防御步调之外，开始接纳动态防御计谋，此中之一就是威胁狩猎。这种方法通过自动搜索和缓解未被检测到的威胁，旨在紧缩从入侵到发现的时间窗口。开源网络威胁谍报（OSCTI）作为威胁狩猎者的紧张资源，提供了大量埋伏和生动威胁的信息。然而，OSCTI通常以非结构化的格式出现，须要手动分析才华得出故意义的见解。本文提出了LLMCloudHunter框架，利用大语言模子（LLM）自动从文本和视觉OSCTI数据中天生检测规则，特别针对云环境的独特安全寻衅。
研究方法
本文提出的LLMCloudHunter框架包罗三个紧张阶段：预处理处罚、段落级处理处罚和OSCTI级处理处罚。在预处理处罚阶段，起首利用网络抓取工具下载并分析OSCTI的HTML代码，将其转换为同一的文本格式，并过滤掉不须要的内容。接着，通过图像分析模块处理处罚从OSCTI中提取的图像，将其内容转换为文本以供进一步分析。
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9ibG9nX21pZ3JhdGUvZWExMGYyMGVmZjJjZWFiYmVjNDM5ZmJiZjA3MDkyYjgucG5n
在段落级处理处罚阶段，框架通过API调用提取器和MITRE ATT&CK TTP提取器，从预处理处罚后的文本中辨认出关键实体。然后，利用规则天生器将这些实体转化为开端的Sigma规则候选。
末了，在OSCTI级处理处罚阶段，框架对从各段落天生的Sigma规则候选举行聚合和优化。通过规则优化器归并和分离选择字段，消除冗余，并通过IoC增强器将提取的IoC整合到Sigma规则中，终极天生逻辑同等且操纵性强的检测规则。
通过这种方法，LLMCloudHunter可以大概从非结构化的OSCTI数据中自动天生实用于云环境的检测规则，进步威胁狩猎的服从和正确性。
研究讨论
研究者在12个云相干OSCTI源上评估了LLMCloudHunter的有用性和正确性。效果表现，该框架在正确提取威胁举动者的API调用方面到达了92%的准确度和98%的召回率，在提取IoC方面到达了99%的准确度和98%的召回率。别的，99.18%的天生检测规则候选乐成转换为Splunk查询。通过综合评估，研究者确认了框架在处理处罚OSCTI方面的高效性和正确性。
溶解研究效果进一步验证了框架各组件的紧张性。尤其是图像分析模块和API调用提取器，对进步团体性能起到了关键作用。然而，提取MITRE ATT&CK TTP的过程仍存在肯定寻衅，这大概影响团体性能，但不会影响Sigma规则候选的检测本事。总体而言，LLMCloudHunter展示了在自动化处理处罚非结构化OSCTI数据方面的巨大潜力。
研究评估
数据集：研究者网络了12个由差别供应商发布的云环境开源网络威胁谍报（OSCTI）。每个OSCTI的详细形貌包罗图像数量、标志数量、API调用数量及其技能复杂性。为了创建数据集的真实标签，研究者的研究团队（包罗威胁狩猎和云安全专家）对每个OSCTI的内容举行了深入分析，辨认并提取了OSCTI中形貌的实体及其关系，以创建连贯且故意义的Sigma规则候选。
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9ibG9nX21pZ3JhdGUvNTNlMDc3MWIwODg1ODVmYzk5ODQwMDQyNTY0MDFhMTEucG5n
评估指标：研究者利用常见的实体和关系提取指标（准确度、召回率和F1分数）评估了框架的性能，并界说了一组特定的尺度以测试每个Sigma规则候选在OSCTI的操纵上下文中的功能性。
效果：LLMCloudHunter在提取威胁举动者的API调用方面表现出色，到达92%的准确度和98%的召回率，在提取IoC方面到达99%的准确度和98%的召回率。别的，天生的Sigma规则候选中有99.18%乐成转换为Splunk查询。研究者的评估还表现，LLMCloudHunter天生的规则在语法准确性、条件字段正确性和形貌元数据对齐方面表现良好，但在关键程度正确性方面略有不敷。
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9ibG9nX21pZ3JhdGUvZDE5ZGQ4ZmM2ODIyODJmYjEyYWUxNDU2NmZmMTlmYzEucG5n
溶解研究进一步验证了各组件的紧张性，特别是图像分析模块和API调用提取器在进步团体性能方面起到了关键作用。只管在提取MITRE ATT&CK TTP方面存在寻衅，但这些并未明显影响Sigma规则候选的检测本事。总体而言，LLMCloudHunter在处理处罚非结构化OSCTI数据并天生可操纵的检测规则方面展示了巨大的潜力。
论文结论
本文提出了LLMCloudHunter，一个利用预练习大语言模子分析文本和视觉OSCTI并自动天生Sigma规则候选的端到端框架。研究者的框架展示了LLMs在处理处罚OSCTI和天生可操纵规则方面的潜力，通过利用Sigma格式，LLMCloudHunter的输出可以无缝集成到现有的SIEM体系中。
未来的工作可以会集在将LLMCloudHunter扩展到本地环境，增长其在差别构造设置和环境中的实用性。别的，研究者筹划通过增长脚本自动化功能，增强框架的威胁缓解本事，为威胁狩猎提供更强大的支持。
原作者：论文解读智能体
校对：小椰风
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9ibG9nX21pZ3JhdGUvM2I1ZTA4ZTBlMzA3ZjYzM2Q5MTUwYTRiNTlhODUwMTQuanBlZw==
页:
[1]