论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
中间件
›
中间件
›
手把手教你私有化部署带聊天界面的DeepSeek-32b-----Lin ...
手把手教你私有化部署带聊天界面的DeepSeek-32b-----Linux版 ...
没腿的鸟
金牌会员
|
前天 07:09
|
显示全部楼层
|
阅读模式
楼主
主题
861
|
帖子
861
|
积分
2583
介绍
DeepSeek 是深度求索人工智能基础技术研究有限公司(简称“深度求索”或“DeepSeek”),成立于2023年,是一家专注于实现AGI的中国公司。就先这么简朴的说一嘴吧,哈哈
背景
DeepSeek在春节期间忽然爆火,由此DeepSeek官网平台和官方APP使用量骤增,如今访问会频繁出现卡顿,提示服务器繁忙,很久才复兴一句话的情况。为了更好的使用DeepSeek,本地话部署一个私有的应用岂不是美哉!!
当前网络上出现的教程方法
1:几乎清一色是windows本地,利用ollama和chatbox组合部署
2:云部署的几乎都是在命令行里进行聊天,使用不方便
3:部署比较繁琐,资源下载不方便,还必要邪术,门槛较高
本教程优势
1:基于云端服务部署,部署简朴方便,流程少
2:从0到1手把手教程,不会出现错误
3:使用云服务很弹性,代价低
4:
有对话界面,且可自定义模子的Prompt
5:
部署完成后,暴露出URL,在任何可以打开网址的地方都可以使用,极其方便
资源准备
1:服务器资源:
本教程以AutoDL云服务器为例,VGPU(32G)卡,也可以3090或以上
复制代码
2:模子资源:
https://hr-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/tree/main
复制代码
手把手教程开始:
1:租用云卡
①:打开AutoDL官方网站:https://www.autodl.com
②:选择卡进行租用以及预装情况:
注意:发起选择西北企业区,对外URL不必要ssh署理设置
③:点击创建,随即进入控制台
④:为了方便操作,复制登录指令和暗码,用ssh工具链接到服务器进行操作,进入后如图所示:
⑤:进入后在命令行里输入下面两个命令,初始化一下
apt update
conda init
复制代码
在init后,关闭当前窗口,重新进入,就会出现前面是 (base)的conda情况
⑥:创建一个虚拟情况,本次部署是以vllm为模子服务,就创建一个vllm定名的就行
conda create -n vllm python==3.10
复制代码
⑦:等待创建完毕后,检察是否有此虚拟情况
conda env list
复制代码
⑧:激活当前虚拟情况
conda activate vllm
复制代码
⑨:安装所需服务:vLLM 和 ModelScope
pip install vllm modelscope
复制代码
等待安装完成… …
⑩:下载所需使用的模子,模子是托管在 huggingface.co,此网站是外洋站,必要邪术,这里提供两种方法下载:
第一种:详细可拜见我其他帖子不用邪术也能轻松下载大模子
1:直接使用python代码下载,不使用梯子,需要设置huggingface_hub的地址,可查看我其他文章 [设置huggingface_hub地址)](https://blog.csdn.net/ltbweber/article/details/143740074?spm=1001.2014.3001.5502)
2:在/root/autodl-tmp 路径下新建个模型文件夹models
3:运行如下代码
python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download('dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4', local_dir='/root/autodl-tmp/models/deepseek-r1-distill-qwen-32b')"
复制代码
第二种:
1:直接在网站上下载,打开网址:
https://hf-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/tree/main
2:复制每个的下载链接地址
复制代码
3:在 /root/autodl-tmp/models文件夹下新建文件夹deepseek-r1-distill-qwen-32b,并进入到此文件夹下,把上图中的每个文件下载下来,注意要保持文件名不变,例如:
wget https://hf-mirror.com/dwetzel/DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4/resolve/main/model-00001-of-00005.safetensors?download=true -O model-00001-of-00005.safetensors
然后依次下载,直到下载完毕
复制代码
11:下载聊天界面UI,这里推荐使用gradio构建一个,可以从我的github仓库里下载
git clone https://github.com/lvtingbin/chatUI.git
进入文件夹,运行安装所需依赖库
pip install -r requirements.txt
复制代码
编辑 app.py文件,把模子地址改为你下载的模子存放文件夹
着实,在app.py文件的最后,修改运行的绑定端口为6006,由于autodl对外开放的端口只有6006
再其次,在app.py的同级目录下,创建一个.env配置文件,内容如下:
OPENAI_API_KEY=132455 #这个是要调用vllm的api的密钥
OPENAI_API_BASE=http://127.0.0.1:5000/v1 #这个是要调用的vllm服务的接口地址,稍后我们会用5000端口启动vllm服务
复制代码
启动服务
1:启动vllm服务:
vllm serve /root/autodl-tmp/models/deepseek-r1-distill-qwen-32b --dtype auto --api-key 132455 --trust-remote-code --max-model-len 8192 --gpu_memory_utilization 0.8 --port 5000
注释:
--model: 模型路径
--dtype auto: 自动选择最适合的数据类型
--api-key: API密钥,这里使用132455
--trust-remote-code: 信任模型代码
--max-model-len: 最大上下文长度(这里可以按照显卡显存适当调整)
--gpu-memory-utilization: GPU显存使用率,根据显卡情况调整,范围0-1,我这里是用0.7,启动是会占用32*0.8 = 25.6G显存
--port: 服务端口号。由于autoDL只对外开放6006端口,上面chatUI服务使用了6006,这里就随意开一个端口就行了
复制代码
2:启动chatUI服务
python app.py
复制代码
3:两个服务都启动好之后,打开autodl控制台,访问远程可访问的url进行访问:
然后就能访问到chatUI的界面了,就可以舒畅的玩耍了
结语
有问题接待评论提问,你也可以实现DeepSeek自由
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
没腿的鸟
金牌会员
这个人很懒什么都没写!
楼主热帖
CVE-2022-23131 Zabbix SAML SSO认证绕 ...
【ollama】Linux下更改ollama模型下载 ...
iOS全埋点解决方案-采集崩溃 ...
ManageEngine ServiceDesk Plus之CVE漏 ...
Doris(七) -- 修改表、动态和临时分区 ...
Redis事务
【密码管理器】上海道宁为您提供存储和 ...
java代码审计-XSS
【必知必会的MySQL知识】④DCL语言 ...
北斗授时产品(GPS北斗授时设备)加NTP ...
标签云
挺好的
服务器
快速回复
返回顶部
返回列表