概述：本文基于langchain和Cyber Security Breaches数据集构建Agent，并基于该Agent实现了数据分析、趋势图输出、猜测攻击态势三个功能，最后给出Agent在安全领域应用的三点启示。
前提：
1、拥有openai API KEY；（需付费）
2、熟悉Google colab 环境；（T4显卡可免费利用12个小时）
3、下载好数据集。
一、选定数据集
数据集的选择是根据我们想要做的事变定的，基于我们的目标变乱，去HG上探求是否有相干数据集。这里笔者想要分析网络安全弊端影响，所以选择了“Cyber Security Breaches”数据集。
&&网络安全弊端库Cyber Security Breaches
Cyber Security Breaches数据集，该数据集包含了各种有关网络安全弊端的信息，如受影响构造的名称、国家、受影响人数、数据泄露范例等。用户可以通过该页面查看数据集的具体信息，并利用Hugging Face库举行数据集的访问和处理。页面提供了数据集的统计信息、示例数据和数据集字段的具体描述，资助用户更好地了解数据集内容。
数据集所在：https://huggingface.co/datasets/schooly/Cyber-Security-Breaches/viewer
上传数据集：下载好Cyber Security Breaches到当地计算机后运行上传代码，并打印前面10行举行有原数据举行比对并确认无错误。
- from google.colab import files`` ``def load_csv_file():``# """Loads a CSV file into a Pandas dataframe."""`` ` `uploaded_file = files.upload()` `file_path = next(iter(uploaded_file))` `document = pd.read_csv(file_path)` `return document`` ``if __name__ == "__main__":` `document = load_csv_file()` `#print(document)
二、基于langchian搭建agent
通常来说，基于langchain搭建agent重要包含定义署理范例、配置工具和语言模型，并根据需要将署理部署在应用程序中等步调：以下是一个基于 LangChain 搭建基本 `agent` 的示例流程：
2.1、安装依赖
确保安装了 `LangChain` 和其他须要的依赖。
- ```python ``!pip install langchain``!pip install openai`` ```
导入 `LangChain` 的焦点模块，包括署理、工具和语言模型。
- ```python ``from langchain.agents import initialize_agent, Tool``from langchain.llms import OpenAI``from langchain.agents.agent_types import AgentType`` ```
设置 OpenAI 的语言模型，比如 `ChatOpenAI` 或 `OpenAI`，并调整温度等参数来控制模型响应的创造性。
- ```python ``llm = OpenAI(api_key="your_openai_api_key", temperature=0)`` ```
定义署理将利用的工具（Tool），这些工具可以包括搜索、数据库查询、文件读取等操纵。
- ```python ``tools = [``Tool(``name="search_tool",``func=lambda query: "Search result for: " + query, # 假设一个简单的搜索工具``description="这个工具用于从搜索引擎中获取信息。"``)``]`` ```
函数名称
|
阐明
|
利用场景举例
|
SearchTool
|
一个简单的搜索工具，允许通过查询访问网络信息。
|
用户询问最新的科技新闻，署理利用搜索工具提供最新的信息。
|
Wikipedia
|
从维基百科提取信息的工具，可以用于快速获取知识性内容。
|
用户询问某个汗青变乱，署理调用维基百科工具提供相干信息。
|
PandasDataFrame
|
处理和分析 Pandas DataFrame 的工具，支持数据操纵。
|
用户请求对某数据集举行统计分析，署理利用 Pandas 工具执行操纵。
|
Calculator
|
基本计算器工具，用于执行数学计算。
|
用户询问复杂的数学题目，如积分或代数，署理调用计算器工具举行计算。
|
WebScraper
|
网页抓取工具，用于从网页中提取数据。
|
用户希望获取某个电商网站的产物代价信息，署理利用网页抓取工具提取数据。
|
FileReader
|
读取文件内容的工具，如文本文件或 CSV 文件。
|
用户上传文件并请求数据分析，署理利用文件读取工具加载数据。
|
ChatTool
|
处理对话的工具，用于与用户举行交互。
|
用户与署理举行问答，署理调用对话工具生整天然语言响应。
|
OpenAIFunctions
|
调用 OpenAI API 的工具，举行天然语言处理和生成。
|
用户请求生成一篇文章，署理调用 OpenAI 函数生成文本内容。
|
2.5、 初始化署理
利用 `initialize_agent` 函数创建署理，指定范例、工具和语言模型。
- ```python ``agent = initialize_agent(``tools=tools,``llm=llm,``agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION, # 设置代理类型``verbose=True # 启用详细模式以跟踪代理执行过程``)`` ```
一旦署理配置完成，便可以用天然语言向署剃头送请求，并获取相应的响应。
- ```python ``query = "What are the latest trends in cybersecurity?"``response = agent.run(query)``print(response)`` ```
- **Zero-Shot React**：适用于直接响应的署理，重要用于简单的 Q&A。
- **Self-Ask with Search**：将复杂题目分解成简单题目，并利用搜索工具查找答案。
- **React Docstore**：适合访问和查询文档库数据的署理范例。
扩展功能
你可以根据需求添加更多工具，或利用特定的署理范例来处理特定任务，比如 `Structured Chat` 用于多输入工具或复杂聊天对话。
署理的应用场景
可以将构建的署理用于各种应用场景，包括智能客服、数据分析助手、文档检索工具等。
https://carta.blog.csdn.net/article/details/143366461?spm=1001.2014.3001.5502
三、 智能体应用
3.1、创建Agent
基于langchain框架导入模块并创建数据框agent，通过 create_pandas_dataframe_agent 函数，创建了一个 Pandas 数据框署理 sm_ds_OAI。该代分析与 OpenAI 的模型结合，能够接受天然语言的指令来分析和查询 document 中的数据，实现智能的数据处理和分析
- # 导入模块``from langchain.agents.agent_types import AgentType #导入 AgentType 枚举，用于指定代理类型。`` ``from langchain_experimental.agents.agent_toolkits import create_pandas_dataframe_agent` `#从实验模块中导入 create_pandas_dataframe_agent 函数，这个函数允许我们创建一个 Pandas DataFrame 的智能代理。`` ``from langchain_openai import ChatOpenAI``from langchain_openai import OpenAI`` ``#创建数据框代理``sm_ds_OAI = create_pandas_dataframe_agent(` `OpenAI(temperature=0),` `document,` `verbose=True``)
利用sm_ds_OAI.invok（）举行数据分析，invok是Langchain中向智能体发送天然语言指令的方法，它允许agent根据这些指令执行相干任务并返回结果，具体功能包括任务调理、天然语言执行、支持多种工具调用和生成响应。
- sm_ds_OAI.invoke("请分析此数据，并用大约 100 字的中文简要说明。请将分析过程的标记，如'Thought'和'Action'替换为'思考'和'执行'")
函数名称
|
阐明
|
利用场景举例
|
函数调用示例
|
invoke
|
发送指令到署理，自动匹配工具或模型执行任务，并返回结果。
|
举行数据分析、生成报告、回答题目等任务
|
agent.invoke("Describe the dataset")
|
run
|
雷同于 invoke，但通常用于快速执行单步指令，适合简单任务。
|
用户请求快速题目回答，如“本日的天气如何？”
|
agent.run("What is the weather today?")
|
add_tool
|
动态添加工具到署理中，使署理在调用时可以利用新工具。
|
用户希望添加一个新的搜索工具，以增强署理的能力
|
agent.add_tool(search_tool)
|
get_tools
|
获取当前署理中的所有可用工具，便于了解署理的能力范围。
|
用户希望查看署理具备哪些工具来完成特定任务
|
agent.get_tools()
|
set_verbose
|
设置署理的具体模式，显示执行过程的具体信息，有助于调试。
|
在调试过程中查看署理调用的每个步调和输出细节
|
agent.set_verbose(True)
|
clear_memory
|
清除署理的临时记忆，适用于多轮对话中重置上下文的情况。
|
用户在会话中想从头开始攀谈，以避免前面内容的干扰
|
agent.clear_memory()
|
initialize_agent
|
初始化署理，配置语言模型、工具等资源，用于设置署理环境。
|
初始化署理的配置，如加载数据处理工具和模型
|
initialize_agent(tools, llm)
|
运行上面的语言后，Agent开始运行，可以看到颠末九步思索与执行后，agent给出了最终的分析结论。
- ``> Finished chain.``{'input': "请分析此数据，并用大约 100 字的中文简要说明。请将分析过程的标记，如'Thought'和'Action'替换为'思考'和'执行'",` `'output': '根据对该数据的分析，可以发现该数据集包含1055条记录，涉及到不同州的医疗机构发生的违规事件。其中，受影响人数最多的州是加利福尼亚州，受影响人数最少的州是阿拉斯加州。同时，通过散点图可以发现，随着年份的增加，受影响人数也呈现增加的趋势。此外，还发现数据中存在大量缺失值，需要进一步处理。'}``
Entering new AgentExecutor chain...
一步
|
Thought: 我需要利用pandas来分析这个数据
Action: python_repl_ast
Action Input: import pandas as pd
Observation:
|
两步
|
Thought: 我需要将数据读取到一个pandas dataframe中
Action: python_repl_ast
Action Input: df = pd.read_csv('data.csv')
Observation:
|
三步
|
Thought: 我需要先将数据文件下载到当地
Action: 下载数据文件
Action Input: data.csv
Observation:
|
四步
|
Thought: 我需要利用pandas的head()函数来查看数据的前几行
Action: python_repl_ast
Action Input: print(df.head())
Observation:
|
五步
|
Thought: 我需要对数据举行简单的描述性统计分析
Action: python_repl_ast
Action Input: df.describe()
Observation:
|
六步
|
Thought: 我需要对数据举行更深入的分析，比如查看缺失值和数据范例
Action: python_repl_ast
Action Input: df.info()
|
七步
|
Thought: 我需要对数据举行可视化分析，比如绘制柱状图来查看不同州的数据数目 Action: python_repl_ast
Action Input: df['State'].value_counts().plot(kind='bar')
Observation: Axes(0.125,0.11;0.775x0.77)
Observation: Axes(0.125,0.11;0.775x0.77)
|
八步
|
Thought: 我需要对数据举行更深入的可视化分析，比如绘制散点图来查看受影响人数和年份的关系 Action: python_repl_ast Action Input: df.plot.scatter(x='year', y='Individuals_Affected') Observation: Axes(0.125,0.11;0.775x0.77)
|
九步
|
Thought: 我现在知道了数据的大抵情况，可以开始撰写分析报告了
Final Answer: 根据对该数据的分析，可以发现该数据集包含1055条记载，涉及到不同州的医疗机构发生的违规变乱。其中，受影响人数最多的州是加利福尼亚州，受影响人数最少的州是阿拉斯加州。同时，通过散点图可以发现，随着年份的增加，受影响人数也呈现增加的趋势。别的，还发现数据中存在大量缺失值，需要进一步处理。
|
Finished chain.
|
{'input': "请分析此数据，并用大约 100 字的中文简要阐明。请将分析过程的标记，如'Thought'和'Action'替换为'思索'和'执行'",
'output': '根据对该数据的分析，可以发现该数据集包含1055条记载，涉及到不同州的医疗机构发生的违规变乱。其中，受影响人数最多的州是加利福尼亚州，受影响人数最少的州是阿拉斯加州。同时，通过散点图可以发现，随着年份的增加，受影响人数也呈现增加的趋势。别的，还发现数据中存在大量缺失值，需要进一步处理。'}
|
备注：由于Observation数据较多，为节省空间，前面几步的内容不再文章内呈现。
此处想到这个画面应该不过分吧
_
3.3、实践二：趋势图输出
在讲langchain中的invoke方法时有提到，run方法通常用于快速执行单步指令，适合简单任务。实践二基于run（）实现趋势图的绘制。
sm_ds_OAI.run(“画一条体现整体安全的趋势图”)
3.4、实践三：猜测攻击态势
运行：
- sm_ds_OAI.invoke("""选择一个预测模型来预测攻击态势。使用这种类型的模型来预测在加利福尼亚州未来3年的平均攻击次数和受影响的人数。output输出的内容翻译为中文。""")
四、安全应用启示
一、安全领域应用：将 Cyber Security Breaches数据集替换为用户的网络安全攻击日志，那么基于智能体开展态势分析、威胁狩猎、攻击溯源、态势猜测、数据统计等工作均成为大概。
二、 数据安全：SOTA大模型效果虽然相对好，但是调用API方式存在数据安全的题目，国内当局、金融、能源等行业难以落地，当地部署安全领域垂直模型是一种可行路径。
三、代价昂贵：纵然能接受数据外传，调用API方式的花费依然是个天文数字，笔者大概观测了下，上文实践一运行一次0.2元，实践三运行一次0.3元，而且是基于gpt-3.5-turbo，假如换位GPT4-O，实时流量检测场景下，一个用户均匀一天1亿条HTTP日志，一条HTTP按照1000Token计算，每天的费用上亿美元，云云看来实时检测通过调用SOTA大模型API是天方夜谭，不过在安全分析场景（如态势分析）可以考虑。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以现实上整个社会的生产效率是提拔的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争上风”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的原理。
我在一线互联网企业工作十余年里，指导过不少同行子弟。资助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给各人，也可以通过我们的能力和经验解答各人在人工智能学习中的很多困惑，所以在工作繁忙的情况下照旧对峙各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋侪无法获得精确的资料得到学习提拔，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习册本手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让各人对大模型 AI有一个最前沿的熟悉，对大模型 AI 的理解凌驾 95% 的人，可以在相干讨论时发表高级、不跟风、又接地气的看法，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 醒目什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的焦点心法
- 大模型应用业务架构
- 大模型应用技能架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和焦点头脑
- Prompt 范例构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完备的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技能希望，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 体系的扩展知识
- 混淆检索与 RAG-Fusion 简介
- 向量模型当地部署
- …
第三阶段（30天）：模型练习
恭喜你，假如学到这里，你基本可以找到一份大模型 AI相干的工作，自己也能练习 GPT 了！通过微调，练习自己的垂直大模型，能独立练习开源多模态大模型，掌握更多技能方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型练习
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并练习它
- 什么是练习/预练习/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：贸易闭环
对全球大模型从性能、吞吐量、本钱等方面有一定的认知，可以在云端和当地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产物经理。
- 硬件选型
- 带你了解全球大模型
- 利用国产大模型服务
- 搭建 OpenAI 署理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在当地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法存案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越积极，就会成为越良好的自己。
假如你能在15天内完成所有的任务，那你堪称天才。然而，假如你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的精确特征了。
这份完备版的大模型 AI 学习资料已经上传CSDN，朋侪们假如需要可以微信扫描下方CSDN官方认证二维码免费领取【包管100%免费】
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
