手把手教你私有化部署带聊天界面的DeepSeek-32b-----Linux版
介绍DeepSeek 是深度求索人工智能基础技术研究有限公司(简称“深度求索”或“DeepSeek”)，成立于2023年，是一家专注于实现AGI的中国公司。就先这么简朴的说一嘴吧，哈哈
背景
DeepSeek在春节期间忽然爆火，由此DeepSeek官网平台和官方APP使用量骤增，如今访问会频繁出现卡顿，提示服务器繁忙，很久才复兴一句话的情况。为了更好的使用DeepSeek，本地话部署一个私有的应用岂不是美哉！！
当前网络上出现的教程方法
1：几乎清一色是windows本地，利用ollama和chatbox组合部署
2：云部署的几乎都是在命令行里进行聊天，使用不方便
3：部署比较繁琐，资源下载不方便，还必要邪术，门槛较高
本教程优势
1：基于云端服务部署，部署简朴方便，流程少
2：从0到1手把手教程，不会出现错误
3：使用云服务很弹性，代价低
4：有对话界面，且可自定义模子的Prompt
5：部署完成后，暴露出URL，在任何可以打开网址的地方都可以使用，极其方便
资源准备
1：服务器资源：
本教程以AutoDL云服务器为例，VGPU（32G）卡，也可以3090或以上
2：模子资源：
https://hr-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/tree/main
手把手教程开始：
1：租用云卡
①：打开AutoDL官方网站：https://www.autodl.com
②：选择卡进行租用以及预装情况：注意：发起选择西北企业区，对外URL不必要ssh署理设置
https://i-blog.csdnimg.cn/direct/08325aed34844bc49ecf6daa61bb0772.png
③：点击创建，随即进入控制台
https://i-blog.csdnimg.cn/direct/c23e3237b42b4233bd43c82a5a16aada.png
④：为了方便操作，复制登录指令和暗码，用ssh工具链接到服务器进行操作，进入后如图所示：
https://i-blog.csdnimg.cn/direct/785c2c9e669546a68a80fb97b9e47ad5.png
⑤：进入后在命令行里输入下面两个命令，初始化一下
apt update
conda init
在init后，关闭当前窗口，重新进入，就会出现前面是 （base）的conda情况
⑥：创建一个虚拟情况，本次部署是以vllm为模子服务，就创建一个vllm定名的就行
conda create -n vllm python==3.10
⑦：等待创建完毕后，检察是否有此虚拟情况
conda env list
https://i-blog.csdnimg.cn/direct/7fea6a6afcd94986a8cba4082f350f0f.png
⑧：激活当前虚拟情况
conda activate vllm
⑨：安装所需服务：vLLM 和 ModelScope
pip install vllm modelscope
等待安装完成… …
⑩：下载所需使用的模子，模子是托管在 huggingface.co，此网站是外洋站，必要邪术，这里提供两种方法下载：
第一种：详细可拜见我其他帖子不用邪术也能轻松下载大模子
1：直接使用python代码下载，不使用梯子，需要设置huggingface_hub的地址，可查看我其他文章[设置huggingface_hub地址)](https://blog.csdn.net/ltbweber/article/details/143740074?spm=1001.2014.3001.5502)
2：在/root/autodl-tmp 路径下新建个模型文件夹models
3：运行如下代码
python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4', local_dir='/root/autodl-tmp/models/deepseek-r1-distill-qwen-32b')"
第二种：
1：直接在网站上下载，打开网址：
https://hf-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/tree/main
2：复制每个的下载链接地址
https://i-blog.csdnimg.cn/direct/22f04457ed814a11883dcb7067f41a28.png
3：在 /root/autodl-tmp/models文件夹下新建文件夹deepseek-r1-distill-qwen-32b，并进入到此文件夹下，把上图中的每个文件下载下来，注意要保持文件名不变，例如：
wget https://hf-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/resolve/main/model-00001-of-00005.safetensors?download=true -O model-00001-of-00005.safetensors
然后依次下载，直到下载完毕
11：下载聊天界面UI，这里推荐使用gradio构建一个，可以从我的github仓库里下载
git clone https://github.com/lvtingbin/chatUI.git
进入文件夹，运行安装所需依赖库
pip install -rrequirements.txt
编辑 app.py文件，把模子地址改为你下载的模子存放文件夹
https://i-blog.csdnimg.cn/direct/7e351daaf91c4726adadffd906b8d917.png
着实，在app.py文件的最后，修改运行的绑定端口为6006，由于autodl对外开放的端口只有6006
https://i-blog.csdnimg.cn/direct/f4fc3981319c4b2483072acab1cc8b88.png
再其次，在app.py的同级目录下，创建一个.env配置文件，内容如下：
OPENAI_API_KEY=132455 #这个是要调用vllm的api的密钥
OPENAI_API_BASE=http://127.0.0.1:5000/v1#这个是要调用的vllm服务的接口地址，稍后我们会用5000端口启动vllm服务
启动服务
1：启动vllm服务：
vllm serve /root/autodl-tmp/models/deepseek-r1-distill-qwen-32b --dtype auto --api-key 132455 --trust-remote-code --max-model-len 8192 --gpu_memory_utilization 0.8 --port 5000
注释：
--model: 模型路径
--dtype auto: 自动选择最适合的数据类型
--api-key: API密钥，这里使用132455
--trust-remote-code: 信任模型代码
--max-model-len: 最大上下文长度(这里可以按照显卡显存适当调整)
--gpu-memory-utilization: GPU显存使用率，根据显卡情况调整，范围0-1，我这里是用0.7，启动是会占用32*0.8 = 25.6G显存
--port: 服务端口号。由于autoDL只对外开放6006端口，上面chatUI服务使用了6006，这里就随意开一个端口就行了
2：启动chatUI服务
python app.py
3：两个服务都启动好之后，打开autodl控制台，访问远程可访问的url进行访问：
https://i-blog.csdnimg.cn/direct/f8ac04e1fe0e498abf7a2207cdcd188e.png
https://i-blog.csdnimg.cn/direct/7f1f53b93e7540368fcd192054605c4a.png
然后就能访问到chatUI的界面了，就可以舒畅的玩耍了
https://i-blog.csdnimg.cn/direct/da093f8c6f6f4be5a7bd94cbcca67d4a.png
结语
有问题接待评论提问，你也可以实现DeepSeek自由
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]