论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
运维.售后
›
运维.售后
›
Linux如何本地部署DeepSeek?(亲测可用)
Linux如何本地部署DeepSeek?(亲测可用)
干翻全岛蛙蛙
金牌会员
|
2025-2-20 23:33:47
|
显示全部楼层
|
阅读模式
楼主
主题
886
|
帖子
886
|
积分
2658
Linux如何本地部署DeepSeek?GPU服务器如何部署DeepSeek?
一、DeepSeek R1 简介
DeepSeek R1 是一款开源 AI 模型,其性能可与 OpenAI 的 GPT-4 和 Claude 3.5 Sonnet 等顶级模型媲美,尤其在数学、编程和推理等任务上表现出色。最告急的是,它是免费、私密的,可以在本地硬件上离线运行。
DeepSeek R1 提供多个参数规模的版本,从轻量级的 1.5b 参数模型到高性能的 671b 版本。它基于 Qwen 7B 架构的精简优化版本,既保持强大性能,又具备更高的计算效率。
其主要亮点包括:
完全开源,可自由使用。
支持本地运行,无需依赖云服务器。
数据完全可控,确保隐私安全。
二、为什么选择本地部署?
本地运行 AI 模型有以下上风:
隐私保障:全部数据均存储在本地,制止敏感信息泄露。
零额外本钱:DeepSeek R1 免费运行,无需订阅或额外费用。
完全控制:可以举行微调和本地优化,无需外部依赖。
三、硬件要求
部署 DeepSeek R1 必要一定的硬件资源,以下是不同模型对计算机,GPU的基本要求, 仅供参考:(如果本机Window系统部署去体验,发起选择1.5b 版本,比较快速。)
四、安装步调
起首预备一台有GPU的服务器,安装Ubuntu 22 系统(保举安装此系统)
步调 1:安装 Ollama
Ollama 是一款本地 AI 运行工具,可资助用户轻松运行 DeepSeek R1。
下载地址:https://ollama.com/download/linux
直接实行 curl -fsSL https://ollama.com/install.sh | sh
安装完成后,Ollama 提供了在终端直接运行 AI 模型的功能。
步调 2:下载 DeepSeek R1 模型
下载地址:https://ollama.com/library/deepseek-r1
在终端中运行以下命令,根据你的硬件选择合适的模型:
# 下载 1.5b 版本(适用于 CPU 及低配 GPU)
ollama run deepseek-r1:1.5b
# 下载 7b 版本
ollama run deepseek-r1:7b
# 下载 8b 版本
ollama run deepseek-r1:8b
# 下载 14b 版本
ollama run deepseek-r1:14b
# 下载 32b 版本
ollama run deepseek-r1:32b
# 下载 70b 版本
ollama run deepseek-r1:70b
# 下载 671b 版本(最高性能)
ollama run deepseek-r1:671b
安装完成如下:
模型下载速度取决于网络状况,可能必要几分钟到几非常钟不等。
步调 3:安装 Chatbox(可选)
为了得到更好的交互体验,可以安装 Chatbox 作为 GUI 界面。
下载地址:https://chatboxai.app/zh#download
下载后直接双击后即可。
安装完成后,举行以下配置:
在“配置 API 模型”选项中选择 Ollama API。
如果您的服务器IP是:192.63.63.63
那么这里设置 API 主机为:http://192.63.63.63:11434
选择 DeepSeek R1 作为默认模型。
保存设置。
请注意:默认安装好的 Ollama 服务是不对外开放的,如何配置远程 Ollama 服务?
默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你必要设置以下两个情况变量:
如果 Ollama 作为 systemd 服务运行,应使用 systemctl 设置情况变量:
调用 systemctl edit ollama.service 编辑 systemd 服务配置。这将打开一个编辑器。
在 [Service] 部分下为每个情况变量添加一行 Environment:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
复制代码
按Ctrl+X退出,再按Y保存并退出
重新加载 systemd 并重启 Ollama:
systemctl daemon-reload
systemctl restart ollama
复制代码
五、功能演示
[/code] 此时打开Chatbox ,选择对接好的DeepSeek ,即可正常对话。
[align=center][align=center][img]https://i-blog.csdnimg.cn/direct/7ff1d22736214a22a577305be1756e85.jpeg[/img][/align][/align]
[code]
复制代码
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
正序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
发新帖
回复
干翻全岛蛙蛙
金牌会员
这个人很懒什么都没写!
楼主热帖
Mac 上下载安装《鸣潮》详细教程(含更 ...
SQL的函数
Android Studio实现一个校园图书管理系 ...
ASP.NET Core依赖注入之旅:针对服务注 ...
类与对象的创建
我为什么选择Wiki.js记笔记? ...
ES6案例 ------ 模拟浏览器网页顶部切 ...
批量下载浏览器网页中全部链接的方法 ...
Redis笔记总结(狂神说)
sql注入详解
标签云
挺好的
服务器
快速回复
返回顶部
返回列表