DeepSeek R1当地部署
DeepSeek大火,但天下苦服务器繁忙，请稍后再试久矣.
近期,DeepSeek大模子大火,一举超越ChatGPT登顶下载榜首.
DeepSeek从很少人知道一下子变成了人尽皆知的大厂,雇用薪资更是开出了年薪百万的价格,应届生都可以去.可谓是梦中情厂.
但是,就连DeepSeek自己可能都没想到自己这么火.因此招架不住各人的热情,频仍的出现服务器繁忙，请稍后再试.
使用体验着实糟糕.
幸亏,DeepSeek开源了自己的大模子,我们可以将DeepSeek部署到当地进行使用,如许的话就可以不再担心折务器繁忙了.可以尽情的蹂躏DeepSeek了!!!
关于DeepSeek的技术有兴趣的可以看看他们的论文.
DeepSeekR1论文
- DeepSeek-R1 遵照 MIT License，答应用户通过蒸馏技术借助 R1 练习其他模子。
- DeepSeek-R1 上线 API，对用户开放头脑链输出，通过设置 model=‘deepseek-reasoner’ 即可调用。
- DeepSeek 官网与 App 即日起同步更新上线。
DeepSeek-R1 在后练习阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模子推理能力。在数学、代码、自然语言推理等使命上，性能比肩 OpenAI o1 正式版。
环境预备
- 硬件要求
- 需要至少一个 CPU 核心（保举使用多核处置惩罚器）。
- 内存发起至少 4GB，具体内存可以根据实际需求调解。
- 磁盘空间发起至少 20GB 可用空间。
- 操作系统
- Windows、Linux 或 macOS 均可支持。
蒸馏模子
DeepSeek当地部署的基本是蒸馏模子,简单明白为阉割版.
为什么?因为当地无法支持真正大模子的算力.
蒸馏模子虽然无法和完备版一样,但是胜在我们可以当地部署,自己玩.还制止了服务器繁忙的苦恼.毕竟,东西再好,你用不了也是白搭啊.
DeepSeek 在开源 DeepSeek-R1-Zero 和 DeepSeek-R1 两个 660B 模子的同时，通过 DeepSeek-R1 的输出，蒸馏了 6个小模子开源给社区，此中 32B 和 70B 模子在多项能力上实现了对标 OpenAI o1-mini 的效果。
满血版DeepSeek 671B的要求:
- 显存需求：完备版（未量化）的显存需求极高，BF16精度下需 1342GB显存，即使使用FP16精度也需约 350GB显存
- 硬件配置：需多节点分布式盘算，例如8张NVIDIA A100/H100（每卡80GB显存）并行运行，或更高端的超算集群
- 性能限定：单卡无法支持，即使最新RTX 5090（32GB显存）也无法有效运行，推理速率极低（低于每秒10个token）
看一下蒸馏版的要求和保举配置.
版本名称参数数目显存需求 (FP16)内存需求保举Mac配置保举Windows配置DeepSeek-R1-1.5B1.5B~3GB8GB+M1/M2芯片，8GB统一内存[2]GTX 1650/RTX 2060，4GB+显存[5]DeepSeek-R1-7B7B~14GB16GB+M1 Pro/M2 Pro，16GB统一内存[2]RTX 3060/4070 Ti，12GB显存[2]DeepSeek-R1-14B14B~28GB32GB+M1 Max/M2 Max，32GB统一内存[2]RTX 4090/A100 40G，24GB+显存[2]DeepSeek-R1-32B32B~64GB64GB+M1 Ultra/M2 Ultra，64GB统一内存[2]2x RTX 4090/A100 80G，48GB+显存[2]DeepSeek-R1-70B70B~140GB128GB+需要更高配置的Mac Pro[6]4x RTX 4090/A100 80G[6]
安装
介绍完以后,开始安装吧.
安装相对来说比较简单,可以使用Ollama这个东西.
直接在Ollama官网下载就可以了.
在如下界面,直接点击DownLoad就可以了.
接下来选择版本,Mac、Linux大概Windows.
等候下载完成以后,运行Ollama.这个东西可以明白为大模子的运行环境.
接下来点击Ollama官网左上角的Models可以预备大模子了.
选择我们要部署的DeepSeek R1大模子.
接下里可以选择要部署的版本.版本信息上面已经介绍过了.
选择以后右侧的命令会改变,直接复制右侧的命令即可.比如我选择7b版本,右侧的命令就是ollama run deepseek-r1:7b.
直接在命令行中输入这个命令就可以了.Windows使用CMD大概终端都可以.Mac使用终端大概Iterm2都可以.运行以后会先开始下载大模子.
在windows下,可以在下面的搜刮内里输入CMD打开终端程序,大概按住键盘Win + R两个键,然后在内里输入CMD打开终端程序.
下载完成以后进入大模子的输入界面,是命令行格式的,可以直接输入.
比如我输入你是谁.回答中的标签内里对应的是思考的内容.
到这里其实就安装完成了,不过假如需要UI界面在浏览器中使用的话,也可以再安装一个UI界面.
后续假如还想运行的话依然是两个步骤
- 打开Ollama程序
- 运行命令ollama run deepseek-r1:7b, 注意更换成你自己的命令.
可视化界面安装
有很多人可能使用不惯命令行程序来输入,因此可以安装一个可视化界面,如许就和在DeepSeek官网使用一样了.
接下来我们看看如何安装UI界面吧!
可视化界面使用Open-Web UI提供的界面程序.可以先下载Docker,使用Docker运行Open-Web UI.
安装Docker
进入Docker官网,进行下载.选择要下载的版本.
下载以后进行安装,安装完成以后,打开程序,使用保举配置就可以了.
安装Open Web-UI
接下来就可以安装Open Web-UI了.
使用如下命令即可.和之前一样,在CMD大概终端程序中运行如下命令.
- docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如今打开浏览器,输入http://localhost:3000/即可进入当地部署的可视化界面了!
第一次的话需要创建管理员账号,输入名称、邮箱、暗码就可以了.
进来以后如图所示.
使用体验如下
总结
如许就算安装完成了,可以使用命令行大概界面,看个人喜好了!
通过以上步骤，您可以在当地部署 DeepSeek。请根据实际需求调解配置并确保所有依赖项已正确安装。假如在运行过程中遇到问题，请参考官方文档或联系技术支持团队。
希望这份指南对您有所资助！
文末福利
关注我发送“MySQL知识图谱”领取完备的MySQL学习路线。
发送“电子书”即可领取代价上千的电子书资源。
发送“大厂内推”即可获取京东、美团等大厂内推信息，祝你获得高薪职位。
部分电子书如图所示。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
