qidao123.com技术社区-IT企服评测·应用市场

标题: [论文阅读] (32)南洋理工大学刘杨传授——网络空间安全和AIGC整合之道学习 [打印本页]
作者: 我可以不吃啊    时间: 2024-10-6 16:00
标题: [论文阅读] (32)南洋理工大学刘杨传授——网络空间安全和AIGC整合之道学习
首先祝大家五一节快乐！《娜璋带你读论文》系列重要是督促本身阅读优秀论文及听取学术讲座，并分享给大家，希望您喜欢。由于作者的英文程度和学术能力不高，需要不断提拔，以是还请大家品评指正，非常欢迎大家给我留言评论，学术路上期待与您前行，加油。
本文是南洋理工大学刘杨传授在InForSec学术报告的分享学习条记，题目是“网络空间安全和AIGC整合之道”。刘老师是我们非常佩服的一位大佬，他们的许多安全工作都值得我们学习，这次分享真的很棒，值得大家去学习。同时，更重要是看看刘老师他们团队面对一个新方向或新热点，他们是怎样去探索与安全结合，怎样去从事科学研究的。本文按照刘老师报告内容描述，并凝练出重点内容（详见博文中重点标注的思绪梳理），尤其是科研探索的过程，从而方便大家学习。学习条记文章，希望对大家有所帮助。末了感谢刘老师的分享，以及InForSec的组织，推荐大家关注和学习。
   
  

   PS：由于当时直播略有杂音，加上本身网络环境和英语比力差，部分条记听得不是很清楚，还请大家多多包容。
  
  
一.内容及演讲人简介

内容摘要
AIGC 和网络安全要求在软件开发过程的所有阶段体系地整合安全测试，其目的是通过使用工具，将人类专业人员的安全专业知识自动化，从而能够在开发生命周期的早期阶段赶早识别和办理安全题目。然而，其有效性在很大程度上取决于智能工具模拟或大概更换安全专家的能力。随着 LLM 的出现，现在有了实现这一目标的新手段。在本演讲中，刘杨传授将讨论近来在应用安全领域利用 LLM 的积极，以涵盖漏洞分析的整个生命周期：漏洞检测、诊断、POC 生成和修复。另一方面，LLM 的安全性对于确保人工智能应用程序的成功部署同样重要。在这个方向上，刘传授将展示有关 LLM 攻击面的最新研究成果、针对提示注入的黑盒/白盒攻击生成、针对多模态模型的攻击、后门攻击以及大概的防御机制。末了，刘传授将研究怎样将这两方面结合起来，开发一个人工智能应用安全分析平台。

演讲人简介
刘杨博士现任新加坡南洋理工大学（NTU）计算机学院传授，NTU网络安全实验室主任，新加坡网络安全研究办公室主任，并于2019年荣获大学领袖论坛讲席传授，在2024年荣获校长讲席传授。刘杨博士专攻软件工程，网络安全和人工智能，其研究填补了软件分析中理论和实际应用之间的空白，研发了多款高效的软件质量和安全检测平台并成功贸易化。到目前为止，他已经在顶级会媾和顶级期刊上发表了超过500篇文章，并在顶级软件工程会议上获得25项最佳论文奖以及最具影响力软件奖。他还同时负责多个重要研究中央，包括新加坡网络安全研究办公室（CRPO）、南洋理工大学可信AI研究中央（TAICeN）以及与ICL合作的医疗设备安全CREATE中央。他还获得多项著名奖项，包括MSRA fellowship，TRF Fellowship, 南洋助理传授，Tan Chin Tuan Fellowship，Nanyang Research Award 2019， ACM良好演讲人，新加坡杰青和NTU创新者（创业）奖。


二.AI for Security

刘老师首先感谢约请，非常谦善。这次报告的题目是大家近来都非常关心的——安全和AI大模型结合的一些工作，尤其是近来一年多他们团队在这个方向里的实验。

接着，就直奔主题——大模型（AIGC）和网络空间安全的整合之道，重要分享一些科研的思绪，以及在科研过程中的一些想法。借这个机会希望与大家一起学习探究“AI和安全融合过程有哪些的大概性大概是挑衅”。
今天的第一块内容是——AI来做安全（AI for Security ）。
这个题目实在并不是很新了，但是已往一年多，从2023年大模型出来以后，大家在探索AIGC和大模型在安全落地应用中的工作。

首先，刘老师给出“Architecture of LLM-based Security Tollchain”框架图。
该图更多是从整个思绪上来看大模型在应用安全，尤其是在漏洞场景中，它能不能相对来说做一个体系化的落地。
安全场景：

基于此我们开展：

我们希望在这一系列漏洞整个生命周期中，大模型的思绪是不是能够通用的应用。在这个过程中，我们care的不是一两个工作，care更多的是整个过程中能不能形成一套相对来说比力体系的大模型在安全场景落地的方法。这个实在是今天刘老师更多想分享的，而不是某一个具体的工作。这也是他已往一年中重要思索的题目。

基于此，我们有数据data、有模型、有技术、有知识，它们怎样在大模型中应用呢？并达到一个我们想要的结果。
具体而言，刘老师接下来通过几个具体的工作来分享他们在实验的过程中遇到的题目、挑衅或得到的一些埋伏办理方案。
三.LLM-Enhanced Static Analysis for Vulnerability Detection（ICSE24）

重点1： 大家目前大概最关心的或最火爆的一个题目——怎样用AIGC大模型去找漏洞。
当时我们做这个题目，是当ChatGPT出来之后，2023年3-4月份时间，许多人就去拿ChatGPT找漏洞。当时有一些结果是非常不错的，由于ChatGPT对比力完备的代码的信息差收集照旧全的，所有在某些场景下，当我们把含有漏洞的代码丢给ChatGPT时，它能精准地告诉我们这些代码有什么漏洞。之后，许多人会疑惑——这东西靠不靠谱，ChatGPT是否能作为一个安全人员或安全审计人员的代替。
出现两周后，就看到了一些安全公司说这东西不靠谱。为什么？由于我把这些漏洞稍微做一些修改，好比没有漏洞的代码修改成漏洞，丢给ChatGPT，它完全没办法识别。因此，这会导致大量的误报和漏报，安全公司就给出了明确的证明和具体实验数据说：

重点2： 看到这样的消息后，我们就有了一个想法——大模型在安全应用尤其是找漏洞的场景，它能做什么呢？它的能力是什么？我们怎样把它的能力使用好呢？这是我们当时的想法和探索。
在探索的过程中，我们发现：假如想把大模型直接用来找漏洞，这个事情本身是不靠谱的。由于大家知道大模型本身是根据大量代码和它对应表明文本、标记来反馈信息的，但漏洞本身是非常复杂的，你可以更改一个字母或代码就会导致漏洞不触发，这种微小的改动或非常细的信息是大模型完全没法控制的。
因此，直接用大模型去直白地找漏洞，它本身从方法上是不靠谱的。但是，大模型有没有用武之地，我们怎么用呢？我们有哪些可行的方式，这就是我们接下来将探究的。
重点3： 刘老师他们进行了各种实验，包括怎样将专业（安全）知识交给大模型，怎样把安全专家找漏洞的思维（经验和想法）告诉大模型，譬如这种漏洞的识别方法或套路。然而，这些信息并未公开或形成比力好的数字化方式答应我们像ChatGPT一样收集大量文本信息和练习，以是这种非常专业的精准知识怎样捕获和利用，这是我们在做研究的重点和思索。
他们进行了差别的实验：

做完这个工作后发现，大模型在找漏洞中是有用武之地的，但并不能代替我们传统的程序分析，不管是静态的照旧动态的分析，它们是相对精准的，并且是大模型不善于的。但是，大模型有能力非常好地总结和阅读代码，该举动恰好是黑客在找漏洞过程中所用的方法，而传统方法或工具实在并没有真正地明白代码。因此，现有大部分自动化工具都基于非常明确的规则来找漏洞，而没有通过语义明白和推理实现，最终做了一个GPTScan工作。
重点4： GPTScan基本思绪就是模拟安全审计人员他们的思维过程，把这个过程分成了Planning、Reasoning和Validating三个部分，重要的是想安全专家一样明白代码（安全知识）。
   GPTScan proposes the first LLM-based static vulnerability detection pipeline,combining LLM with program analysis to achieve improved accuracy (~70% F1-score). It also identifies 9 new vulnerabilities missed by human auditors.
  
Planning 相称于一个对整个代码的分析，想知道哪些函数是重要的，哪些函数大概会有漏洞。基于想要的这些函数找到之后，我们再去做一个漏洞举动分析，譬如哪些函数与某种漏洞范例相关，再去做对应的举动识别或寻找函数中具体的变量等，接着进行确认。确认完之后，再去做埋伏的漏洞验证和发现。
整个过程实在就是在模拟评价黑客拿到一个项目或代码，是怎样找漏洞的，他通常看过许多代码且对特有范例漏洞比力熟悉，该漏洞在代码中埋伏的关联函数有哪些，有了之后再去分析函数块，函数中哪些举动或逻辑与该漏洞相关，找到之后再进一步确认。他大概也用一些程序分析或Fuzzing辅助工具，来确认这个举动是不是漏洞。

研究结论：


四.Expert Knowledge Learning with Automatic Chain-of-Thoughts Decomposition

重点5： 我们对多种范例的漏洞进行测试，看是否能更好地体系化支持多种范例的漏洞自动化识别，由于每种漏洞大概不太一样。那么，我怎么样能把找漏洞的过程做更好的泛化，这是刘老师他们后面又做的一个研究。
在这个过程中，我们实验了非常体系化的工作，将ChatGPT的调用或整套流程进行非常体系的问答映射，将执行过程的整个思维，给你许多例子进行辅助。但在泛化过程中会发现，每次漏洞都要写对应的提示。那么，怎样更好地做泛化呢？这就导致了后续的工作。

该图比力复杂，其本质是：

首先需要找到能力点，再通过数据收集、数据标注、数据使用和分析（RAG）。

该工作属于我们的探索性研究，包括对RAG的探索，假如在某个领域中数据的正确性、数目能收集得更多，那我们是否在大模型中能取得更好的结果。在探索过程中，刘老师更关心的是：

重点6： 安全场景应用以及为什么选择智能合约。
我们的两个工作是在智能合约中完成，并且结果还不错，将其酿成自动化的agent，自动找漏洞并得到应用和正反馈，后续也实验做别的领域。为什么选择智能合约呢？

五.Understanding Zero-Shot Fuzz Driver Generation（FSE 24）

重点7： 从静态场景过度到动态场景。
之后，我们正在做的工作是FSE24的文章。这篇文章是在另一个场景做的，之前更多是静态的，这个工作是在动态场景中的实验。
   首先介绍论文《Understanding Zero-Shot Fuzz Driver Generation》。论文地址如下：
  
  该工作重要想探究：

因此，这两个是fuzz要落地并真正大规模使用时，必须办理的两个题目。该工作重要看是不是能体系化地做Fuzz Driver Generation，这也是当时我们问的题目。
我们将Google所有的OSS-Fuzz中的drivers做了一个分析，发现OSS-Fuzz非常锋利的平台，也找不到许多的漏洞。但是，这些漏洞背后的drivers都是人写的，虽然它的Fuzz是自动化的，但它的dominant…这些高质量的fuzz drivers实在是专业技术人员完成（过度依赖专家知识）。

重点8： 是否能利用LLM辅助fuzz driver的自动化生成。
因此，接下来我们将探究能不能把fuzz driver generation这件事自动化，尤其是探索大模型能不能去做这件事情。这个工作是非常体系化将fuzz driver生成。首先要收集OOS-Fuzz相关信息，这些信息对fuzz driver generation非常有代价，传递这些信息给ChatGPT，会验证后续工作。更重要的是不是能和drvier生成的需求匹配，是不是能帮助我们有效地执行差别API序列。
然而，有时间ChatGPT反馈的结果不理想，我们进行了各种实验，怎样将ChatGPT能返回比力正确有代价的信息，最终能生成有效的drivers。并且发现，GPT4与GPT3.5的结果明显好许多，大模型基本的阅读明白能力非常不错。还有个有意思的发现，我们在东八区晚上生成的结果明显没有白天生成的好，一开始很忧郁为什么出现这种环境。厥后想明白了，由于美国时间ChatGPT的使用量比力大，以是它的频率就会重，这也是我们的发现。
因此，在使用ChatGPT的过程中不是那么容易的，通过这个工尴尬刁难我们怎样体系化地使用ChatGPT都是很好的经验。但是我们发现，它的能力在一些相对复杂的多API调用过程以及并发场景，ChatGPT是完全搞不定的。这就意味着，当你有更多复杂、交互的场景，更多的领域知识，需要在特定领域中使用时，你只能简单地使用大模型和明白基本的代码。总之，该工作是怎样把所需的fuzz driver生成中的更强领域知识能有效提炼，抽象和应用，这个工作照旧比力有趣的（花费8000美元），并且与Google OSS-Fuzz团队连接上了，能让我们工具发挥更大作用。
六.Automated Penetration Testing with LLMs: PentestGPT

重点9： 正在探索语义层面的明白和场景应用。
然而，上述工作只是一个开始。我们现在正在做的一系列工作，就是怎样去探索语义层面的明白以及在静态分析和Fuzz场景落地。刘老师本身是非常感兴趣的，怎样能把业务逻辑和语义明白融合，明白数据能和安全分析更好地结合，这是我们整个科研的思绪。这大概是埋伏能把安全人员短缺以及安全人员专业知识怎样数字化应用及落地的机会。
第一个工作是《Automated Penetration Testing with LLMs: PentestGPT》，来源于弟子的Project。

重点10： PentestGPT本身是怎样把Penetration（分泌）这件事情用ChatGPT跑通。
它实在没有太多技术上的贡献，实在就是一个非常简单工程上的实验，整个项目也开源了。它实在就是把分泌的整个过程用ChatGPT实现。


PentestGPT包括三个步调：

根据现有的工具看每一步做什么东西，有哪些反馈，基于这些反馈去明白是什么环境，做对应的决策。这实在就是非常标准的分泌脚本执行过程，但这个脚本在没有ChatGPT指导下，它只是一个流程，没有办法自动化。由于被测目标的反馈和对应真实数据、业务逻辑很相关，这些业务逻辑的相关性在没有专家的明白和分析能力环境下，是没办法连起来的。
当ChatGPT来之后，通过简单的流程，会发现ChatGPT一些基本的反馈和代码阅读、数据明白的能力能帮我们把流程（flow）变得真正落地。这就是发现一个有意思的工作，是讲我的com…对数据明白、语义明白的整合能力，把这个能力应用到安全中。
以是，这三个工作给了大家一个非常有意思的反馈，即：


该结果结果还不错，后续还有许多需要做的工作。好比：怎样把专业知识（分泌测试）在这个过程中更好地进行数字化明白，包括更复杂的UI明白等。


七.Automated Vulnerability Diagnosis（ASE23）

重点11： 从漏洞发掘（分析）到漏洞修复（诊断），进步可表明性。
前面介绍了一系列漏洞发掘或分析的工作，接下来介绍漏洞修复或诊断相关的工作。这个工作本身也是一个非常意思的AI和漏洞结合的工作。刘老师非常喜欢这个工作，不是由于它的结果非常好，也不是由于技术难度有多高，而是它又表现了之前所说的事情。

因此，假如代码没见过就无法实现，实在并没有在使用的场景下，把代码直接丢给大模型大概让它去学习漏洞知识，你并没有把漏洞的本质语义学到。以是这样的学习能学到什么，没有人能知道，它整个的过程不具备明确的表明性。
以是我们想把这个东西做得更好——把漏洞语义相关东西切出来，再把这些东西明确丢给AI模型，虽然我也不能保证它百分之百动态举动的精准性，但我是更多想实验把语义举动、漏洞的精准语义举动提取出来，再推给大模型明白。因此，这是一个非常有意思的工作。

   VulTeller能自动定位函数中的脆弱语句，更重要的是描述脆弱性。该方法侧重于在代码中提取正确的控制和数据依赖关系，通过建模控制流路径和使用污点分析来实现。该工作设计了一种新的神经模型，对控制流路径中的控制流和污点流进行编码，并通过节点分类和注意解码器分别对它们进行解码，最终在真实事故的漏洞中进行评估。
  

论文下载地址：


八.Fine-tuning LLMs for Automated Program Repair（ASE23）

重点12： 结合漏洞补丁和LLM开展自动程序修复
这个工作也是去年的一个工作，一个非常快速的实验。该工作更多是对漏洞和漏洞函数的补丁信息收集，并结合LLM开展自动程序修复（Automated Program Repair）。

该研究发现：当把更细的漏洞函数和它的补丁信息pairs收集起来且标注准的时间，在该场景下比传统的大模型学一堆数据的结果明显要好。C语言的Repair实验基本靠近一个低级安全人员，以是这些重要知识通过比力精准的语义提取，然后加上Fine-tuning LLM实验，你实在是能把它的结果相对提拔的。


由于直播视频的部分内容杂音实在太大，非常抱歉，只能推荐读者阅读原文。下面给出这篇文章的结论：
   This paper conducts a comprehensive study on the repair capabilities of LLMCs in various repair scenarios under the NMT fine-tuning paradigm. Our results show that even without any post-processing strategies, LLMCs can already achieve excellent results, and surpass many previous APR works. Importantly, we present some practical guidelines on how to choose different designs to better exploit the repair capability of LLMCs, and show how they can repair complex defects. We also analyze and discuss some limitations found during the evaluation and point out future directions. Furthermore, our results on various benchmarks can serve as the baselines for subsequent works with reference. In conclusion, LLMC-based APR has great potential for practical use, and more efforts are needed to promote LLM4APR research in the future.
  论文下载地址：


刘老师漏洞安全总结：
做完这一圈，大家可以看到，实在你在漏洞的整个场景中，当你有比力精准的语义明白，以及有足够好的代码明白的能力，能把它们组合好，并且这些专业的Domain Knowledge加上代码中有代价的信息，这几件事情组合起来，你在漏洞发掘、漏洞分析和漏洞修复过程中，就会有不错的发现。
实在，假如我们想真正把漏洞安全这件事做好，这个大概是一个比力相对难的事。就是说，你需要具备：

当我们能把这三个东西整合起来，实在这就是找漏洞比力关键的地方。假如把这几要素比力好的融汇起来，你就能很好地开展漏洞分析相关研究，这就是方法论的一些讨论。我们希望把这些漏洞函数信息从一开始在打造大模型底座过程中，去做所谓的提示工程，设计一些漏洞相关的提示问答，至于哪些结果更好，在差别场景中能达到什么程度，需要我们在科研过程中再去探索。
软件基因组计划

接下来刘老师介绍他们做的工作——软件基因组计划。大家大概听过人类基因组计划，把人类DNA全部搞明白，帮助大家治病和制药。

这个大家大概感兴趣，由于我们近来发现：代码和人的DNA有非常强的相似性。人类DNA比对包括基因、DNA片段、染色体、人类等，软件对应Token、Code Snippet、Component、Module、Repository，包括代码编译完的二进制等，因此具有一定的相似性。

人类基因组计划是想知道哪个基因的功能、缺陷及相关应用，当软件酿成非常复杂巨大的生态时，你会发现没有人对整个生态有较好明白，没人敢说“我知道全天下开源组件有哪些功能，有哪些题目，有哪些埋伏的缺陷和应用”。基于此，我们开展—— The Software Genome Project。

我们希望打造一个Software Intelligence平台，能把这个软件相关（开源天下）的合规、后门、恶意代码、漏洞等做一个自动化的方法去收集它，能连续地为整个的安全标签做补给。反过来，这些东西又是我们大模型练习内里最核心的数据，我们希望通过研究软件基因来明白怎样练习更靠谱的、更高质量的，能够让代码高效练习数据。现有许多代码是没有用的，怎样把这段区分出来，打造有代价的软件基因组去练习大模型，这也是对AI有贡献的地方。

AI安全领域

由于今天分享时间有限，后续内容刘老师快速讲解。这块是偏AI安全的内容，做了不少工作，尤其是近来我们发的一篇工作——Jailbreak。


(1) Jailbreak Attacks on Large Language Model
该工作思绪非常简单，研究大模型安全，实验收集恶意代码\脚本约莫70多种，并想怎样自动化生成这些脚本。这些脚本也做分泌，此时突然想到能不能练习另外一个大模型，把这个恶意脚本…，让它去…


(2) Adversarial Attack for Text-To-lmage Diffusion Models
接下来做白盒的工作，包括多模态、对抗样本攻击等。安全本身很难，包括和AI公司（大模型）交流，他们知道安全很重要，但很难做。

考虑多语言模型的差异性，另一个工作是用大模型去监控大模型。

(3) Backdoor Attack by Poisoning Training Process [ACL23]
该工作偏后门攻击。


总结

末了给出他们大的研究框架，怎样围绕AI安全和可信AI的方向。


下图是刘老师他们大的思绪，AI和安全融合的研究。

末了，通过几分钟分享他们比力有意思的idea和实验，重要是web3 for AI and Security。

整个AI天下需要巨大的投入，大模型本身资本非常高，更重要它不是一个透明和安全的。许多时间，大模型对整个社会更多是威胁，而不是帮助，许多人类职业大概会被更换的，而且大部分人和公司是没办法参与进来的。将来的AI有大概在一定程度上有所谓的大模型，但更多的需要…


接下来分享一个idea，给出一些开导。我们在做一些实验，是不是能通过区块链的一些技术做一个泛化的AI。其目的不是打造大模型，大概在技术层面的创新，而更多是从方法论、经济学上的创新。

这个idea是能不能打造很容易将人类专业知识酿成智能体agent或block的平台，甚至能很容易地开发出agent有对应的功能，好比找漏洞、写代码、生成图片等，从而让更多的人来使用、标注数据和反馈，形成更好的AI应用的贸易化平台，甚至可以做投资。

当然，这内里比力有意思的技术代价在哪？怎样去改造通用快速AI的应用场景和落地的SCK。这是需要非常强的技术，能把人差别行业的聪明数字化，提取酿成所需的知识（agent）。同时，希望在将来社会中不仅有agent，且能组合和写作，怎样打造一个我们所谓的CTF技术团队，数字化的CTF Team，怎么和agent高效沟通、协作来实现，这是将来科研上非常有代价的东西。

今天探究了许多安全和AI场景，实在发现web3也有许多能做的东西，它们的关系相辅相成的，结合每个技术的特性来帮助我们把科研题目做好，也是我们需要共同探究的，包括产业化转化等。

刘老师和其他老师聊天说，将来只有两个行业在，一个是安全，一个是AI。以是安全照旧非常重要的，在行业中怎样更好地将AI技术应用，值得我们去探索。


作者感受：学术大概是需要天赋的，这些大佬真值得我们学习，同时本身会继续积极的，学会思索和探索，争取靠后天积极来弥补这些鸿沟，更重要的是享受这种奋斗的过程，加油！再次感谢刘老师和InForSec。
(By:Eastmount 2024-05-02 夜于贵州 http://blog.csdn.net/eastmount/ )
前文赏析：

   今天是Eastmount的安全星球——『网络攻防和AI安全之家』正式创建和运营的日子，该星球目前主业务务为 安全零基础答疑、安全技术分享、AI安全技术分享、AI安全论文交流、威胁谍报每日推送、网络攻防技术总结、体系安全技术实战、面试求职、安全考研考博、简历修改及润色、学术交流及答疑、人脉触达、认知提拔等。下面是星球的新人券，欢迎新老博友和朋友参加，一起分享更多安全知识，比力本心的星球，非常得当初学者和换安全专业的读者学习。


目前收到了许多博友、朋友和老师的支持和点赞，尤其是一些看了我文章多年的老粉，购买来感谢，真的很感动，泪目。将来，我将分享更多高质量文章，更多安全干货，至心帮助到大家。虽然起步晚，但贵在坚持，像十多年如一日的博客分享那样，脚踏实地，只争朝夕。继续加油，再次感谢！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/) Powered by Discuz! X3.4