ToB企服应用市场:ToB评测及商务社交产业平台

标题: 基于LangChain构建安全Agent应用实践（含代码） [打印本页]
作者: 梦应逍遥    时间: 2024-11-25 19:23
标题: 基于LangChain构建安全Agent应用实践（含代码）
概述：本文基于langchain和Cyber Security Breaches数据集构建Agent，并基于该Agent实现了数据分析、趋势图输出、预测攻击态势三个功能，末了给出Agent在安全领域应用的三点启示。
条件：
1、拥有openai API KEY；（需付费）
2、熟悉Google colab 环境；（T4显卡可免费使用12个小时）
3、下载好数据集。
一、选定命据集

数据集的选择是根据我们想要做的事变定的，基于我们的目的变乱，去HG上探求是否有相关数据集。这里笔者想要分析网络安全毛病影响，所以选择了“Cyber Security Breaches”数据集。

&&网络安全毛病库Cyber Security Breaches
Cyber Security Breaches数据集，该数据集包罗了各种有关网络安全毛病的信息，如受影响构造的名称、国家、受影响人数、数据泄露范例等。用户可以通过该页面查看数据集的详细信息，并使用Hugging Face库进行数据集的访问和处理。页面提供了数据集的统计信息、示例数据和数据集字段的详细描述，帮助用户更好地了解数据集内容。
数据集地址：https://huggingface.co/datasets/schooly/Cyber-Security-Breaches/viewer
上传数据集：下载好Cyber Security Breaches到本地盘算机后运行上传代码，并打印前面10行进行有原数据进行比对并确认无错误。
  2. from google.colab import files
  4. def load_csv_file():
  5. #  """Loads a CSV file into a Pandas dataframe."""
  7.   uploaded_file = files.upload()
  8.   file_path = next(iter(uploaded_file))
  9.   document = pd.read_csv(file_path)
  10.   return document
  12. if __name__ == "__main__":
  13.   document = load_csv_file()
  14.   #print(document)
复制代码

二、基于langchian搭建agent
通常来说，基于langchain搭建agent主要包罗界说代理范例、配置工具和语言模型，并根据需要将代理部署在应用程序中等步调：以下是一个基于 LangChain 搭建基本 agent 的示例流程：
2.1、安装依赖

确保安装了 LangChain 和其他必要的依赖。

2.2、导入模块
导入 LangChain 的核心模块，包括代理、工具和语言模型。

2.3、界说语言模型
设置 OpenAI 的语言模型，好比 ChatOpenAI 或 OpenAI，并调整温度等参数来控制模型响应的创造性。

2.4、配置工具
界说代理将使用的工具（Tool），这些工具可以包括搜索、数据库查询、文件读取等操作。

langchain常见工具举例，本文将使用到PandasDataFrame工具进行数据分析。
函数名称说明使用场景举例SearchTool一个简单的搜索工具，答应通过查询访问网络信息。用户扣问最新的科技新闻，代理使用搜索工具提供最新的信息。Wikipedia从维基百科提取信息的工具，可以用于快速获取知识性内容。用户扣问某个汗青变乱，代理调用维基百科工具提供相关信息。PandasDataFrame处理和分析 Pandas DataFrame 的工具，支持数据操作。用户哀求对某数据集进行统计分析，代理使用 Pandas 工具执行操作。Calculator基本盘算器工具，用于执行数学盘算。用户扣问复杂的数学问题，如积分或代数，代理调用盘算器工具进行盘算。WebScraper网页抓取工具，用于从网页中提取数据。用户盼望获取某个电商网站的产品价格信息，代理使用网页抓取工具提取数据。FileReader读取文件内容的工具，如文本文件或 CSV 文件。用户上传文件并哀求数据分析，代理使用文件读取工具加载数据。ChatTool处理对话的工具，用于与用户进行交互。用户与代理进行问答，代理调用对话工具生成天然语言响应。OpenAIFunctions调用 OpenAI API 的工具，进行天然语言处理和生成。用户哀求生成一篇文章，代理调用 OpenAI 函数生成文本内容。 2.5、 初始化代理
使用 initialize_agent 函数创建代理，指定范例、工具和语言模型。

2.6、使用代理
一旦代理配置完成，便可以用天然语言向代理发送哀求，并获取相应的响应。

   常用代理范例
  - Zero-Shot React：适用于直接响应的代理，主要用于简单的 Q&A。
- Self-Ask with Search：将复杂问题分解成简单问题，并使用搜索工具查找答案。
- React Docstore：适合访问和查询文档库数据的代理范例。
  扩展功能
你可以根据需求添加更多工具，或使用特定的代理范例来处理特定任务，好比 Structured Chat 用于多输入工具或复杂聊天对话。
  代理的应用场景
可以将构建的代理用于各种应用场景，包括智能客服、数据分析助手、文档检索工具等。
  https://carta.blog.csdn.net/article/details/143366461?spm=1001.2014.3001.5502
  三、 智能体应用
3.1、创建Agent

基于langchain框架导入模块并创建数据框agent，通过 create_pandas_dataframe_agent 函数，创建了一个 Pandas 数据框代理 sm_ds_OAI。该代理会与 OpenAI 的模型结合，可以大概继承天然语言的指令来分析和查询 document 中的数据，实现智能的数据处理和分析
  2. # 导入模块
  3. from langchain.agents.agent_types import AgentType  #导入 AgentType 枚举，用于指定代理类型。
  5. from langchain_experimental.agents.agent_toolkits import create_pandas_dataframe_agent
  6. #从实验模块中导入 create_pandas_dataframe_agent 函数，这个函数允许我们创建一个 Pandas DataFrame 的智能代理。
  8. from langchain_openai import ChatOpenAI
  9. from langchain_openai import OpenAI
  11. #创建数据框代理
  12. sm_ds_OAI = create_pandas_dataframe_agent(
  13.     OpenAI(temperature=0),
  14.     document,
  15.     verbose=True
  16. )
复制代码
3.2、实践一：分析总结

使用sm_ds_OAI.invok（）进行数据分析，invok是Langchain中向智能体发送天然语言指令的方法，它答应agent根据这些指令执行相关任务并返回结果，详细功能包括任务调度、天然语言执行、支持多种工具调用和生成响应。
  1. sm_ds_OAI.invoke("请分析此数据，并用大约 100 字的中文简要说明。请将分析过程的标记，如'Thought'和'Action'替换为'思考'和'执行'")
复制代码
在 LangChain 中，有多个方法可以用于执行差别任务。下面是一些常见的方法，包括说明、使用场景和 Python 调用示例：
函数名称说明使用场景举例函数调用示例invoke发送指令到代理，主动匹配工具或模型执行任务，并返回结果。进行数据分析、生成陈诉、回答问题等任务agent.invoke("Describe the dataset")run类似于 invoke，但通常用于快速执行单步指令，适合简单任务。用户哀求快速问题回答，如“今天的天气怎样？”agent.run("What is the weather today?")add_tool动态添加工具到代理中，使代理在调用时可以使用新工具。用户盼望添加一个新的搜索工具，以加强代理的能力agent.add_tool(search_tool)get_tools获取当前代理中的所有可用工具，便于了解代理的能力范围。用户盼望查看代理具备哪些工具来完成特定任务agent.get_tools()set_verbose设置代理的详细模式，显示执行过程的详细信息，有助于调试。在调试过程中查看代理调用的每个步调和输出细节agent.set_verbose(True)clear_memory清除代理的临时影象，适用于多轮对话中重置上下文的情况。用户在会话中想重新开始交谈，以制止前面内容的干扰agent.clear_memory()initialize_agent初始化代理，配置语言模型、工具等资源，用于设置代理环境。初始化代理的配置，如加载数据处理工具和模型initialize_agent(tools, llm) 运行上面的语言后，Agent开始运行，可以看到经过九步思考与执行后，agent给出了终极的分析结论。
  1. > Finished chain.
  2. {'input': "请分析此数据，并用大约 100 字的中文简要说明。请将分析过程的标记，如'Thought'和'Action'替换为'思考'和'执行'",
  3. 'output': '根据对该数据的分析，可以发现该数据集包含1055条记录，涉及到不同州的医疗机构发生的违规事件。其中，受影响人数最多的州是加利福尼亚州，受影响人数最少的州是阿拉斯加州。同时，通过散点图可以发现，随着年份的增加，受影响人数也呈现增加的趋势。此外，还发现数据中存在大量缺失值，需要进一步处理。'}
复制代码

Entering new AgentExecutor chain…一步Thought: 我需要使用pandas来分析这个数据Action: python_repl_astAction Input: import pandas as pdObservation:两步Thought: 我需要将数据读取到一个pandas dataframe中Action: python_repl_astAction Input: df = pd.read_csv(‘data.csv’)Observation:三步Thought: 我需要先将数据文件下载到本地Action: 下载数据文件Action Input: data.csvObservation:四步Thought: 我需要使用pandas的head()函数来查看数据的前几行Action: python_repl_astAction Input: print(df.head())Observation:五步Thought: 我需要对数据进行简单的描述性统计分析Action: python_repl_astAction Input: df.describe()Observation:六步Thought: 我需要对数据进行更深入的分析，好比查看缺失值和数据范例Action: python_repl_astAction Input: df.info()七步Thought: 我需要对数据进行可视化分析，好比绘制柱状图来查看差别州的数据数量 Action: python_repl_astAction Input: df[‘State’].value_counts().plot(kind=‘bar’)Observation: Axes(0.125,0.11;0.775x0.77)Observation: Axes(0.125,0.11;0.775x0.77)八步Thought: 我需要对数据进行更深入的可视化分析，好比绘制散点图来查看受影响人数和年份的关系 Action: python_repl_ast Action Input: df.plot.scatter(x=‘year’, y=‘Individuals_Affected’) Observation: Axes(0.125,0.11;0.775x0.77)九步Thought: 我如今知道了数据的大致情况，可以开始撰写分析陈诉了Final Answer: 根据对该数据的分析，可以发现该数据集包罗1055条记录，涉及到差别州的医疗机构发生的违规变乱。此中，受影响人数最多的州是加利福尼亚州，受影响人数最少的州是阿拉斯加州。同时，通过散点图可以发现，随着年份的增长，受影响人数也呈现增长的趋势。此外，还发现数据中存在大量缺失值，需要进一步处理。Finished chain.{‘input’: “请分析此数据，并用约莫 100 字的中文扼要说明。请将分析过程的标记，如’Thought’和’Action’替换为’思考’和’执行’”,‘output’: ‘根据对该数据的分析，可以发现该数据集包罗1055条记录，涉及到差别州的医疗机构发生的违规变乱。此中，受影响人数最多的州是加利福尼亚州，受影响人数最少的州是阿拉斯加州。同时，通过散点图可以发现，随着年份的增长，受影响人数也呈现增长的趋势。此外，还发现数据中存在大量缺失值，需要进一步处理。’} 备注：因为Observation数据较多，为节省空间，前面几步的内容不再文章内呈现。
此处想到这个画面应该不外分吧



图片泉源：https://www.youtube.com/watch?v=zt9Oh_RZ5KU
3.3、实践二：趋势图输出

在讲langchain中的invoke方法时有提到，run方法通常用于快速执行单步指令，适合简单任务。实践二基于run（）实现趋势图的绘制。
sm_ds_OAI.run(“画一条体现整体安全的趋势图”)

3.4、实践三：预测攻击态势
运行：
  1. sm_ds_OAI.invoke("""选择一个预测模型来预测攻击态势。使用这种类型的模型来预测在加利福尼亚州未来3年的平均攻击次数和受影响的人数。output输出的内容翻译为中文。""")
复制代码
输出结果：‘加利福尼亚州未来3年的平均攻击次数为536.27次，受影响的人数为41345.94人。’

四、安全应用启示
一、安全领域应用： 将 Cyber Security Breaches数据集替换为用户的网络安全攻击日志，那么基于智能体开展态势分析、威胁狩猎、攻击溯源、态势预测、数据统计等工作均成为可能。
二、 数据安全： SOTA大模型结果固然相对好，但是调用API方式存在数据安全的问题，国内政府、金融、能源等行业难以落地，本地部署安全领域垂直模型是一种可行路径。
三、价格昂贵： 纵然能继承数据外传，调用API方式的耗费依然是个天文数字，笔者大概观测了下，上文实践一运行一次0.2元，实践三运行一次0.3元，而且是基于gpt-3.5-turbo，如果换位GPT4-O，实时流量检测场景下，一个用户平均一天1亿条HTTP日志，一条HTTP按照1000Token盘算，天天的费用上亿美元，如此看来实时检测通过调用SOTA大模型API是天方夜谭，不外在安全分析场景（如态势分析）可以思量。
​
怎样学习大模型

如今社会上大模型越来越遍及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。
作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。如今我想把我的经验和知识分享给你们，帮助你们学习AI大模型，可以大概解决你们学习中的困难。
下面这些都是我当初辛劳整理和花钱购买的资料，如今我已将重要的AI大模型资料包括市面上AI大模型各明白皮书、AGI大模型体系学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。
一、AGI大模型体系学习路线
很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线盼望可以大概帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习册本

四、AI大模型各大场景实战案例

五、结束语
学习AI大模型是当前科技发展的趋势，它不仅可以大概为我们提供更多的机会和挑战，还可以大概让我们更好地明白和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于天然语言处理、盘算机视觉、语音辨认等领域。同时，掌握AI大模型还可以大概为我们的职业发展增长竞争力，成为未来技术领域的领导者。
再者，学习AI大模型也能为我们本身创造更多的价值，提供更多的岗位以及副业创收，让本身的生活更上一层楼。
因此，学习AI大模型是一项有前景且值得投入的时间和精神的重要选择。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4