干翻全岛蛙蛙 发表于 2025-2-20 23:33:47

Linux如何本地部署DeepSeek?(亲测可用)

Linux如何本地部署DeepSeek?GPU服务器如何部署DeepSeek?

一、DeepSeek R1 简介

DeepSeek R1 是一款开源 AI 模型,其性能可与 OpenAI 的 GPT-4 和 Claude 3.5 Sonnet 等顶级模型媲美,尤其在数学、编程和推理等任务上表现出色。最告急的是,它是免费、私密的,可以在本地硬件上离线运行。
DeepSeek R1 提供多个参数规模的版本,从轻量级的 1.5b 参数模型到高性能的 671b 版本。它基于 Qwen 7B 架构的精简优化版本,既保持强大性能,又具备更高的计算效率。
其主要亮点包括:
完全开源,可自由使用。
支持本地运行,无需依赖云服务器。
数据完全可控,确保隐私安全。
二、为什么选择本地部署?

本地运行 AI 模型有以下上风:
隐私保障:全部数据均存储在本地,制止敏感信息泄露。
零额外本钱:DeepSeek R1 免费运行,无需订阅或额外费用。
完全控制:可以举行微调和本地优化,无需外部依赖。
三、硬件要求

部署 DeepSeek R1 必要一定的硬件资源,以下是不同模型对计算机,GPU的基本要求, 仅供参考:(如果本机Window系统部署去体验,发起选择1.5b 版本,比较快速。)

https://i-blog.csdnimg.cn/img_convert/4f6a09b60ebf451225bfb225b8bcb682.jpeg
四、安装步调

起首预备一台有GPU的服务器,安装Ubuntu 22 系统(保举安装此系统)
步调 1:安装 Ollama

Ollama 是一款本地 AI 运行工具,可资助用户轻松运行 DeepSeek R1。
下载地址:https://ollama.com/download/linux
直接实行 curl -fsSL https://ollama.com/install.sh | sh
安装完成后,Ollama 提供了在终端直接运行 AI 模型的功能。
https://i-blog.csdnimg.cn/direct/1db31fcc68c8430cbd35366462cc57ba.jpeg

步调 2:下载 DeepSeek R1 模型

https://i-blog.csdnimg.cn/direct/0b65d09d8583425b95db5bb6491e0b03.jpeg

下载地址:https://ollama.com/library/deepseek-r1
在终端中运行以下命令,根据你的硬件选择合适的模型:
# 下载 1.5b 版本(适用于 CPU 及低配 GPU)
ollama run deepseek-r1:1.5b

# 下载 7b 版本
ollama run deepseek-r1:7b

# 下载 8b 版本
ollama run deepseek-r1:8b

# 下载 14b 版本
ollama run deepseek-r1:14b

# 下载 32b 版本
ollama run deepseek-r1:32b

# 下载 70b 版本
ollama run deepseek-r1:70b

# 下载 671b 版本(最高性能)
ollama run deepseek-r1:671b

安装完成如下:
https://i-blog.csdnimg.cn/direct/d9f43b8441094e69b00b92bc0c2e3f0a.jpeg


模型下载速度取决于网络状况,可能必要几分钟到几非常钟不等。
步调 3:安装 Chatbox(可选)

为了得到更好的交互体验,可以安装 Chatbox 作为 GUI 界面。
下载地址:https://chatboxai.app/zh#download
https://i-blog.csdnimg.cn/direct/ec7a26a646c145fcb2d9f23a640ed635.jpeg

下载后直接双击后即可。
安装完成后,举行以下配置:
https://i-blog.csdnimg.cn/direct/9c492c355b994d078e4678304f155bee.jpeg

在“配置 API 模型”选项中选择 Ollama API。
如果您的服务器IP是:192.63.63.63
那么这里设置 API 主机为:http://192.63.63.63:11434
选择 DeepSeek R1 作为默认模型。
保存设置。
https://i-blog.csdnimg.cn/direct/fc28f95fbd1d40e3b31c537143e70ed5.jpeg


请注意:默认安装好的 Ollama 服务是不对外开放的,如何配置远程 Ollama 服务?

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你必要设置以下两个情况变量:
如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置情况变量:

[*] 调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
[*] 在 部分下为每个情况变量添加一行 Environment:

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

[*] 按Ctrl+X退出,再按Y保存并退出
[*] https://i-blog.csdnimg.cn/direct/f437e490caeb45d191040feaed9e0d84.jpeg
[*] 重新加载 systemd 并重启 Ollama:
systemctl daemon-reload
systemctl restart ollama

五、功能演示

此时打开Chatbox ,选择对接好的DeepSeek ,即可正常对话。
https://i-blog.csdnimg.cn/direct/7ff1d22736214a22a577305be1756e85.jpeg


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: Linux如何本地部署DeepSeek?(亲测可用)