ToB企服应用市场:ToB评测及商务社交产业平台

标题: 利用本地 LLM 构建 Llama 3.1 8b Streamlit 谈天应用步调：利用 Ollama 的 [打印本页]

作者: 天津储鑫盛钢材现货供应商 时间: 2024-8-29 03:44
标题: 利用本地 LLM 构建 Llama 3.1 8b Streamlit 谈天应用步调：利用 Ollama 的
介绍

大型语言模型（LLMs）彻底改变了人工智能领域，提供了令人印象深刻的语言理解和生成本领。

本文将引导您构建一个利用本地LLM的Streamlit谈天应用步调，特别是来自Meta的Llama 3.1 8b模型，通过Ollama库举行集成。
条件条件

在我们深入代码之前，请确保您已安装以下内容：

Python
Streamlit
Ollama

设置 Ollama 和下载 Llama 3.1 8b

首先，您需要安装 Ollama 并下载 Llama 3.1 8b 模型。打开命令行界面并实行以下命令：

创建 Modelfile

要创建一个与您的 Streamlit 应用无缝集成的自界说模型，请按照以下步调操纵：

在您的项目目录中，创建一个名为 Modelfile 的文件，不带任何扩展名。
在文本编辑器中打开 Modelfile，并添加以下内容：

model: llama3.1:8b

复制代码

此文件指示 Ollama 利用 Llama 3.1 8b 模型。
代码

导入库和设置日志记录

streamlit as st：这导入了 Streamlit，一个用于创建交互式网页应用的库。
ChatMessage 和 Ollama：这些是从 llama_index 库中导入的，用于处理谈天消息和与 Llama 模型举行交互。
logging：用于记录信息、告诫和错误，有助于调试和跟踪应用步调的行为。
time：这个库用于丈量生成响应所需的时间。

初始化谈天记录

st.session_state: 这是一个 Streamlit 特性，允许您在应用的差异运行之间存储变量。在这里，它用于存储谈天记录。
if 语句检查 ‘messages’ 是否已经在 session_state 中。如果没有，它将其初始化为空列表。

流式谈天响应的函数

stream_chat: 此函数处理与 Llama 模型的交互。
Ollama(model=model, request_timeout=120.0): 利用指定的超时初始化 Llama 模型。
llm.stream_chat(messages): 从模型流式传输谈天响应。
response_placeholder = st.empty(): 在 Streamlit 应用中创建一个占位符，以动态更新响应。
for 循环将响应的每一部分附加到最终响应字符串，并更新占位符。
logging.info 记录模型、消息和响应。
except 块捕获并记录在流式传输过程中发生的任何错误。

重要功能

main: 这是设置和运行Streamlit应用的重要功能。
st.title("与LLMs模型谈天"): 设置应用的标题。
model = st.sidebar.selectbox("选择模型", ["mymodel", "llama3.1 8b", "phi3", "mistral"]): 在侧边栏创建一个下拉菜单以选择模型。
if prompt := st.chat_input("你的题目"): 获取用户输入并将其添加到谈天记录中。
for循环表现谈天记录中的每条消息。
if语句检查末了一条消息是否不是来自助手。如果为真，则从模型生成响应。
with st.spinner("正在写入..."): 在生成响应时表现一个加载指示器。
messages = [ChatMessage(role=msg["role"], content=msg["content"]) for msg in st.session_state.messages]: 为Llama模型准备消息。
response_message = stream_chat(model, messages): 调用stream_chat函数以获取模型的响应。
duration = time.time() - start_time: 盘算生成响应所需的时间。
response_message_with_duration = f"{response_message}\n\n耗时: {duration:.2f} 秒": 将耗时附加到响应消息中。
st.session_state.messages.append({"role": "assistant", "content": response_message_with_duration}): 将助手的响应添加到谈天记录中。
st.write(f"耗时: {duration:.2f} 秒"): 表现生成响应的耗时。
except块处理生成响应期间的错误并表现错误消息。

怎样学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以现实上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“开始掌握AI的人，将会比较晚掌握AI的人有竞争上风”。
这句话，放在盘算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，引导过不少偕行后辈。资助许多人得到了学习和成长。
我意识到有许多履历和知识值得分享给各人，也可以通过我们的本领和履历解答各人在人工智能学习中的许多困惑，所以在工作繁忙的情况下照旧对峙各种整理和分享。但苦于知识传播途径有限，许多互联网行业朋侪无法获得正确的资料得到学习提升，故此将并将紧张的AI大模型资料包括AI大模型入门学习思维导图、佳构AI大模型学习册本手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让各人对大模型 AI有一个最前沿的认识，对大模型 AI 的理解凌驾 95% 的人，可以在干系讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 谈天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 醒目什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 范例构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的本领。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术希望，适合 Python 和 JavaScript 步调员。

为什么要做 RAG
搭建一个简朴的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 体系的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地摆设
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你根本可以找到一份大模型 AI干系的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实行2：手写一个简朴的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实行数据集的构建
…

第四阶段（20天）：贸易闭环

对全球大模型从性能、吞吐量、成本等方面有肯定的认知，可以在云端和本地等多种环境下摆设大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你相识全球大模型
利用国产大模型服务
搭建 OpenAI 署理
热身：基于阿里云 PAI 摆设 Stable Diffusion
在本地盘算机运行大模型
大模型的私有化摆设
基于 vLLM 摆设大模型
案例：怎样优雅地在阿里云私有摆设开源大模型
摆设一套开源 LLM 项目
内容安全
互联网信息服务算法存案
…

学习是一个过程，只要学习就会有挑衅。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的使命，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋侪们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【包管100%免费】

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)