ToB企服应用市场:ToB评测及商务社交产业平台
标题:
Ollama 本地部署 DeepSeek R1 及 Python 运行 open-webui 界面(windows)
[打印本页]
作者:
麻花痒
时间:
2025-2-14 12:39
标题:
Ollama 本地部署 DeepSeek R1 及 Python 运行 open-webui 界面(windows)
DeepSeek R1 + ollama + open-webui 本地部署(windows)
DeepSeek-R1本地部署配置要求
Github地点:https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file
模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景1.5B4GBRTX 30508GB个人学习7B、8B16GBRTX 409032GB小型项目14B24GBA5000 x264GB专业应用32B48GBA100 40GB x2128GB企业级服务70B80GBA100 80GB x4256GB高性能计算671B640GB+H100 集群不可行超算/云计算
扩展:
上面代表的是什么含义,首先我们知道671B的模型才是底子模型,别的的1.5B、7B、8B等都是蒸馏模型,因此Qwen代表是通义千问模型蒸馏的,Llama是通过Llama模型蒸馏的
DeepSeek-R1 + ollama + open-webui本地部署
1.本次使用的操作系统,以及环境配置
操作系统:windows11
CPU: i7-11800H
内存:16GB
GPU:RTX3050ti 4G显存
2.安装ollama
ollama是一个支持在windows、linux和macos上本地运行的大模型工具
官方网址:Release v0.5.7 · ollama/ollama · GitHub
配置环境变量
测试是否安装成功,cmd下令行输入ollama
3.通过ollama 安装 DeepSeek-R1 8B模型
下载模型网址:deepseek-r1
在下令行输入:ollama run deepseek-r1:8b,即可下载相应模型,速率会慢一点
在下令行输入:ollama list,即可查看已经下载好的模型
在下令行输入:ollama run deepseek-r1:8b,运行下载好的模型
4.安装open-webui,前端对话式网页工具
1)安装node.js
这里我是通过nvm仓库管理node,参考链接:使用nvm管理node多版本(安装、卸载nvm,配置环境变量,更换npm淘宝镜像)_node 版本管理-CSDN博客
官网下载nvm包:https://github.com/coreybutler/nvm-windows/releases
在安装目次下配置路径和下载镜像,setting.txt新增两行下令
node_mirror: https://npmmirror.com/mirrors/node/
npm_mirror: https://npmmirror.com/mirrors/npm/
复制代码
在cmd输入下令行,测试是否安装成功:nvm --version
使用 nvm 安装 node 版本,这里我使用的是node.js 20.12.2版本
在cmd输入下令行:nvm install 20.12.2
对应的npm为10.5.0
2)使用anaconda 创建用于open-weibu的虚拟环境
参考链接:https://blog.csdn.net/xianfianpan/article/details/143441456
conda create -n ollama python=3.11
conda activate ollama
复制代码
安装 open-webui
pip install open-webui
复制代码
启动下令,出现Open-Webui界面i
open-webui serve
复制代码
这里需要留意的是,本地访问http://0.0.0.0:8080会出现无法毗连,要换成http://localhost:8080或者http://127.0.0.1:8080
5**. ollama + open-webui *
+ DeepSeek R1 8B模型使用技巧*
**
左侧的工作空间,可以将文件上传到知识库中,为模型提供检索材料
deepseek-r1:8b 是通过ollama下载的模型,可以选择多个模型
links
https://www.cnblogs.com/REN-Murphy/p/18702762
效果演示
ollama run deepseek-r1:1.5b
复制代码
open-webui serve
复制代码
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)
Powered by Discuz! X3.4