Ollama 本地部署 DeepSeek R1 及 Python 运行 open-webui 界面(windows) ...

打印 上一主题 下一主题

主题 903|帖子 903|积分 2709

DeepSeek R1 + ollama + open-webui 本地部署(windows)

DeepSeek-R1本地部署配置要求

Github地点:https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file
模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景1.5B4GBRTX 30508GB个人学习7B、8B16GBRTX 409032GB小型项目14B24GBA5000 x264GB专业应用32B48GBA100 40GB x2128GB企业级服务70B80GBA100 80GB x4256GB高性能计算671B640GB+H100 集群不可行超算/云计算 扩展:

上面代表的是什么含义,首先我们知道671B的模型才是底子模型,别的的1.5B、7B、8B等都是蒸馏模型,因此Qwen代表是通义千问模型蒸馏的,Llama是通过Llama模型蒸馏的
DeepSeek-R1 + ollama + open-webui本地部署

1.本次使用的操作系统,以及环境配置
操作系统:windows11
CPU: i7-11800H
内存:16GB
GPU:RTX3050ti 4G显存
2.安装ollama
ollama是一个支持在windows、linux和macos上本地运行的大模型工具
官方网址:Release v0.5.7 · ollama/ollama · GitHub

配置环境变量

测试是否安装成功,cmd下令行输入ollama

3.通过ollama 安装 DeepSeek-R1 8B模型
下载模型网址:deepseek-r1

在下令行输入:ollama run deepseek-r1:8b,即可下载相应模型,速率会慢一点
在下令行输入:ollama list,即可查看已经下载好的模型

在下令行输入:ollama run deepseek-r1:8b,运行下载好的模型

4.安装open-webui,前端对话式网页工具
1)安装node.js
这里我是通过nvm仓库管理node,参考链接:使用nvm管理node多版本(安装、卸载nvm,配置环境变量,更换npm淘宝镜像)_node 版本管理-CSDN博客
官网下载nvm包:https://github.com/coreybutler/nvm-windows/releases

在安装目次下配置路径和下载镜像,setting.txt新增两行下令
  1. node_mirror: https://npmmirror.com/mirrors/node/
  2. npm_mirror: https://npmmirror.com/mirrors/npm/
复制代码
在cmd输入下令行,测试是否安装成功:nvm --version

使用 nvm 安装 node 版本,这里我使用的是node.js 20.12.2版本
在cmd输入下令行:nvm install 20.12.2
对应的npm为10.5.0

2)使用anaconda 创建用于open-weibu的虚拟环境
参考链接:https://blog.csdn.net/xianfianpan/article/details/143441456
  1. conda create -n ollama python=3.11
  2. conda activate ollama
复制代码
安装 open-webui
  1. pip install open-webui
复制代码
启动下令,出现Open-Webui界面i
  1. open-webui serve
复制代码

这里需要留意的是,本地访问http://0.0.0.0:8080会出现无法毗连,要换成http://localhost:8080或者http://127.0.0.1:8080

5**. ollama + open-webui *+ DeepSeek R1 8B模型使用技巧***
左侧的工作空间,可以将文件上传到知识库中,为模型提供检索材料
deepseek-r1:8b 是通过ollama下载的模型,可以选择多个模型


links
https://www.cnblogs.com/REN-Murphy/p/18702762
效果演示

  1. ollama run deepseek-r1:1.5b
复制代码

  1. open-webui serve
复制代码



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

麻花痒

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表