[大模型]DeepSeek-7B-chat WebDemo 部署

DeepSeek-7B-chat WebDemo 部署

DeepSpeek 先容

由70亿个参数组成的高级语言模型 DeepSeek LLM。它是在一个包含2万亿个英文和中文代币的庞大数据集上从零开始训练的。为了促进研究，DeepSeek 已经为研究社区开放了DeepSeek LLM 7B/67B Base 和 DeepSeek LLM 7B/67B Chat。
环境准备

在autodl平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu20.04)–>11.8（11.3版本以上的都可以）
接下来打开刚刚租用服务器的JupyterLab， 图像 并且打开其中的终端开始环境设置、模型下载和运行演示。

pip换源和安装依赖包

1. # 升级pip
2. python -m pip install --upgrade pip
3. # 更换 pypi 源加速库的安装
4. pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
6. pip install modelscope==1.9.5
7. pip install transformers==4.35.2
8. pip install streamlit==1.24.0
9. pip install sentencepiece==0.1.99
10. pip install accelerate==0.24.1
11. pip install transformers_stream_generator==0.0.4

复制代码

模型下载

使用 modelscope 中的snapshot_download函数下载模型，第一个参数为模型名称，参数cache_dir为模型的下载路径。
在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。并运行 python /root/autodl-tmp/download.py 执行下载，模型大小为15 GB，下载模型大概需要10~20分钟

1. import torch
2. from modelscope import snapshot_download, AutoModel, AutoTokenizer
3. from modelscope import GenerationConfig
4. model_dir = snapshot_download('deepseek-ai/deepseek-llm-7b-chat', cache_dir='/root/autodl-tmp', revision='master')

复制代码

代码准备

在/root/autodl-tmp路径下新建 chatBot.py 文件并在其中输入以下内容，粘贴代码后记得保存文件。下面的代码有很详细的注释，大家如有不理解的地方，欢迎提出issue。
[code]# 导入所需的库
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch
import streamlit as st

# 在侧边栏中创建一个标题和一个链接
with st.sidebar:
    st.markdown("## DeepSeek LLM")
    "[开源大模型食用指南 self-llm](https://github.com/datawhalechina/self-llm.git)"
    # 创建一个滑块，用于选择最大长度，范围在0到1024之间，默认值为512
    max_length = st.slider("max_length", 0, 1024, 512, step=1)

# 创建一个标题和一个副标题
st.title("