论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
应用中心
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
qidao123.com技术社区-IT企服评测·应用市场
»
论坛
›
人工智能
›
人工智能
›
基于大模型的 RAG 核心开辟——详细先容 DeepSeek R1 本 ...
基于大模型的 RAG 核心开辟——详细先容 DeepSeek R1 本地化部署流程 ...
来自云龙湖轮廓分明的月亮
论坛元老
|
2025-4-10 11:08:35
|
显示全部楼层
|
阅读模式
楼主
主题
1621
|
帖子
1621
|
积分
4873
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
媒介
自从 DeepSeek 发布后,对 AI 行业产生了巨大的影响,以 OpenAI、Google 为首的国际科技团体为之震动,它的出现标记着全球AI竞争进入新阶段。从以往单纯的技术比拼转向效率、生态与战略的综合比力。其影响已超越企业层面,涉及地缘政治、产业政策与全球技术治理,它彻底改变“美国主导创新、中国跟随应用”的传统格局,形成多极化的技术权力分布。
DeepSeek 的开源性彻底打破了 OpenAI 等公司通过 API 接口调用,依赖 token 计费的单一规则。因为 DeepSeek 是一个开源的产品,任何人都可通过 GitHub 等途径下载它的核心源代码,这种开源方案有点类似当年的 Android / 鸿蒙发展策略。任何人都可以为 DeepSeek 开辟某项额外的功能,为DeepSeek 的茁壮成长贡献自己的一份力量。
它包括了 DeepSeek R1 / DeepSeek V3 / DeepSeek Coder V2 / DeepSeek VL / DeepSeek V2 / DeepSeek Coder / DeepSeek Math / DeepSeek LLM 等多个不同的模型,以顺应不同领域的应用。私人开辟者可以下载 DeepSeek R1 检心框架进行调试,如果企业调用 DeepSeek 的 API 接口,也需要按 token 收费,然而费用不到 ChatGDP 的十分之一,对企业来说是相当有良心。DeepSeek 的 R1 模型支持本地化部署,用户可以在企业服务器内单独部署自己的 DeepSeek 模型,以顺应各自的领域需求。
废话不多说,下面为大家先容 DeepSeek R1 的本地化部署流程。
一、运行环境要求
1.
硬件配置
独立显卡(保举 NVIDIA 1060 以上 GPU显存 ≥ 6GB)
CPU、内存及存储需满足模型参数规模(如1.5B/7B/14B模型对应不同配置)
进入 DeepSeek 的官网
https://www.deepseek.com/
,点激 DeepSeek R1 的模型毗连,可以进入 GitHub 的源代码页面。里面可看到 DeepSeek R1 包罗了多个不同大小的模型,每个模型需要使用的资源不一样。一样平常情况下发起使用 1.5B 的轻量级模型,GPU 在 6G~8G 可以尝试使用 7B 的平衡型模型。
显卡要求可参考下表
2. 依赖工具
Ollama 或 HFD 部署工具及模型库
Docker、Python等基础环境
常用下载模型的方法主要有两种,一是通过 Ollama,二是通过 HuggingFace。固然 HuggingFace 的镜像比较丰富全面,但由于在2023年底,HuggingFace 的官网已经彻底被封,想要下载镜像需要使用
https://hf-mirror.com
里面的 HFD 工具通过命令实行,对新手来说相对不太友好,所以本文就选择相对轻量级的 Ollama 工具进行安装。
二、安装步骤
1. 安装 Ollama
首先到 Ollama 官网
https://www.ollama.com
下载 ollama,可以选择 Windows、Linux、masOS 三个不同的版本
下载后点激安装,默认安装路径在 C:\Users\username\AppData\Local\Programs\Ollama 下
安装完成后,打开 Windows 的环境变量,修改用户变量中的 Path 值,参加 Ollama 的路径 C:\Users\username\AppData\Local\Programs\Ollama
完成设置后,点激 Ollama.exe 按钮,然后在命令提示符中输入 ollama -v,见到 ollama 版本号代表安装成功。
也打开浏览器,输入Ollama 运行地址 “http://127.0.0.1:11434”
看到 “Ollama is running” 字样证明 Ollama 已经正常运行。
2. 下载 deepseek v1 模型
ollama 的命令与 docker 有点类似,输入命令 ollama pull deepseek-r1:7b 系统开始下载模型 deepseek v1:7b
最后看到 success 代表下载成功
此时输入命令 ollama ls 可以检察已下载的模型
3. 运行模型
输入命令 “ollama run deepseek-r1:7b” 启动模型
成功启动后就可以尝试输入问题让 deepseek 答复。
按下 CTRL+D 可以退出当前对话
若要检察当前运行的模型,可以输入 ollama ps
若要制止模式运行,可输入 ollama stop deepseek-r1:7b。
制止后再输入 ollama ps,可以知道制止命令是否成功
三、可视化部署
DeepSeek R1 不仅可以通过命令实行,还可通过插件进行可视化部署,部署出与官网应用类似的应用场景。
首先选择浏览器的扩展按键,填入 Page Assist 进行搜索,安装插件。
完成安装后,若要选择中文版可点激右上角设置按钮,在language中选择 “简体中文”
在命令提示符输入 ollama run deepseek-r1:7b ,确定 deepseek 模型已经正常运行后, 在 Ollama URL 处填入默认的运行地址 http://127.0.0.1:11434
回到首页,在选项中可以查到系统中正在运行的模型,选择你要有的模型类别
此时,你已经可以在本机恣意享受 DeepSeek 给你带来的乐趣。
本章小结
前面已经先容了 DeepSeek R1 本地化部署流程,本地化部署不仅能保障数据安全,更能通过机动定制实现业务场景的高效适配,为企业智能化转型提供可靠的技术底座。DeepSeek 模型从环境准备、模型加载到 RAG 功能集成,每一个环节都体现了大模型与企业私有化场景深度融合的技术潜力。接下来一连几章将会为大家先容基于大模型 RAG 的核心开辟,敬请留意。
作者:风尘荡子
https://www.cnblogs.com/leslies2/p/18808145
原创作品,转载时请注明作者及出处
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
来自云龙湖轮廓分明的月亮
论坛元老
这个人很懒什么都没写!
楼主热帖
C#实现HTTP访问类HttpHelper
容器化 | 在 S3 实现定时备份 ...
【黄啊码】MySQL入门—5、数据库小技巧 ...
工作流引擎在vivo营销自动化中的应用实 ...
Kubernetes-理解对象
MySQL索引的理解学习,面试不问索引原理 ...
揭秘“AI换脸”诈骗背后,黑灰产使用的 ...
【低代码】低代码平台协同&敏捷场景下 ...
RabbitMQ真实生产故障问题还原与分析 ...
【OpenHarmony】VSCode下移植 LiteOS-M ...
标签云
渠道
国产数据库
集成商
AI
运维
CIO
存储
服务器
快速回复
返回顶部
返回列表