手把手教你私有化部署带聊天界面的DeepSeek-32b-----Linux版 ...

介绍

DeepSeek 是深度求索人工智能基础技术研究有限公司(简称“深度求索”或“DeepSeek”)，成立于2023年，是一家专注于实现AGI的中国公司。就先这么简朴的说一嘴吧，哈哈
背景

DeepSeek在春节期间忽然爆火，由此DeepSeek官网平台和官方APP使用量骤增，如今访问会频繁出现卡顿，提示服务器繁忙，很久才复兴一句话的情况。为了更好的使用DeepSeek，本地话部署一个私有的应用岂不是美哉！！
当前网络上出现的教程方法

1：几乎清一色是windows本地，利用ollama和chatbox组合部署
2：云部署的几乎都是在命令行里进行聊天，使用不方便
3：部署比较繁琐，资源下载不方便，还必要邪术，门槛较高
本教程优势

1：基于云端服务部署，部署简朴方便，流程少
2：从0到1手把手教程，不会出现错误
3：使用云服务很弹性，代价低
4：有对话界面，且可自定义模子的Prompt
5：部署完成后，暴露出URL，在任何可以打开网址的地方都可以使用，极其方便
资源准备

1：服务器资源：

1.         本教程以AutoDL云服务器为例，VGPU（32G）卡，也可以3090或以上

复制代码

2：模子资源：

1.         https://hr-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/tree/main

复制代码

手把手教程开始：

1：租用云卡

①：打开AutoDL官方网站：https://www.autodl.com
②：选择卡进行租用以及预装情况：注意：发起选择西北企业区，对外URL不必要ssh署理设置

③：点击创建，随即进入控制台

④：为了方便操作，复制登录指令和暗码，用ssh工具链接到服务器进行操作，进入后如图所示：

⑤：进入后在命令行里输入下面两个命令，初始化一下

1. apt update
2. conda init

复制代码

在init后，关闭当前窗口，重新进入，就会出现前面是 （base）的conda情况
⑥：创建一个虚拟情况，本次部署是以vllm为模子服务，就创建一个vllm定名的就行

1. conda create -n vllm python==3.10

复制代码

⑦：等待创建完毕后，检察是否有此虚拟情况

1. conda env list

复制代码

⑧：激活当前虚拟情况

1. conda activate vllm

复制代码

⑨：安装所需服务：vLLM 和 ModelScope

1. pip install vllm modelscope

复制代码

等待安装完成… …
⑩：下载所需使用的模子，模子是托管在 huggingface.co，此网站是外洋站，必要邪术，这里提供两种方法下载：
第一种：详细可拜见我其他帖子不用邪术也能轻松下载大模子

1.         1：直接使用python代码下载，不使用梯子，需要设置huggingface_hub的地址，可查看我其他文章  [设置huggingface_hub地址)](https://blog.csdn.net/ltbweber/article/details/143740074?spm=1001.2014.3001.5502)
2.         2：在/root/autodl-tmp 路径下新建个模型文件夹models
3.         3：运行如下代码
4.        
5.         python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4', local_dir='/root/autodl-tmp/models/deepseek-r1-distill-qwen-32b')"

复制代码

第二种：

1.         1：直接在网站上下载，打开网址：
2.        
3.                 https://hf-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/tree/main
4.        
5.         2：复制每个的下载链接地址

复制代码

1.         3：在 /root/autodl-tmp/models文件夹下新建文件夹deepseek-r1-distill-qwen-32b，并进入到此文件夹下，把上图中的每个文件下载下来，注意要保持文件名不变，例如：
2.        
3.                         wget https://hf-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/resolve/main/model-00001-of-00005.safetensors?download=true -O model-00001-of-00005.safetensors
4.         然后依次下载，直到下载完毕

复制代码

11：下载聊天界面UI，这里推荐使用gradio构建一个，可以从我的github仓库里下载

1.         git clone https://github.com/lvtingbin/chatUI.git
3.         进入文件夹，运行安装所需依赖库
5.         pip install -r  requirements.txt

复制代码

编辑 app.py文件，把模子地址改为你下载的模子存放文件夹

着实，在app.py文件的最后，修改运行的绑定端口为6006，由于autodl对外开放的端口只有6006

再其次，在app.py的同级目录下，创建一个.env配置文件，内容如下：

1. OPENAI_API_KEY=132455   #这个是要调用vllm的api的密钥
2. OPENAI_API_BASE=http://127.0.0.1:5000/v1  #这个是要调用的vllm服务的接口地址，稍后我们会用5000端口启动vllm服务

复制代码

启动服务

1：启动vllm服务：

1.         vllm serve /root/autodl-tmp/models/deepseek-r1-distill-qwen-32b --dtype auto --api-key 132455 --trust-remote-code --max-model-len 8192 --gpu_memory_utilization 0.8 --port 5000
4.         注释：
5.         --model: 模型路径
6.         --dtype auto: 自动选择最适合的数据类型
7.         --api-key: API密钥，这里使用132455
8.         --trust-remote-code: 信任模型代码
9.         --max-model-len: 最大上下文长度(这里可以按照显卡显存适当调整)
10.         --gpu-memory-utilization: GPU显存使用率，根据显卡情况调整，范围0-1，我这里是用0.7，启动是会占用32*0.8 = 25.6G显存
11.         --port: 服务端口号。由于autoDL只对外开放6006端口，上面chatUI服务使用了6006，这里就随意开一个端口就行了

复制代码

2：启动chatUI服务

1.         python app.py

复制代码

3：两个服务都启动好之后，打开autodl控制台，访问远程可访问的url进行访问：

然后就能访问到chatUI的界面了，就可以舒畅的玩耍了

结语

有问题接待评论提问，你也可以实现DeepSeek自由

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。