vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案 ...

一、vLLM 部署 DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill 系列模型是 DeepSeek-R1 的蒸馏模型，官方提供了从 1.5B - 70B 差异尺寸大小的模型。特别适合在计算资源有限的情况中部署。
DeepSeek-R1 各个版本的蒸馏模型评估效果如下：

其中 DeepSeek-R1-Distill-Qwen-32B 是通过对 Qwen2.5-32B 模型进行蒸馏得到的版本。该模型在评估效果中团体表现优异，在多项测试中均超过 GPT-4o-0513、o1-mini 、Claude-3.5-Sonnet-1022，且在 DeepSeek-R1-Distill 系列中效果和 DeepSeek-R1-Distill-Llama-70B 相差不大，但参数目近乎是 DeepSeek-R1-Distill-Llama-70B 的一半只有 32B大小，因此可谓是本地部署的绝佳选择。
本次实验就基于 DeepSeek-R1-Distill-Qwen-32B 模型本地私有化部署，其中推理优化框架接纳 vLLM。
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而计划。可以无缝集成 HuggingFace、Modelscope 上的模型。
vLLM 情况部署好后，首先使用 modelscope 下载 DeepSeek-R1-Distill-Qwen-32B 模型到指定目录下：

1. modelscope download --model="deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" --local_dir DeepSeek-R1-Distill-Qwen-32B

复制代码

然后使用 vLLM 读取模型启动API服务。
注意：下面参数需要依据自己的算力情况适当修改：

1. export CUDA_VISIBLE_DEVICES=0,1      vllm serve "DeepSeek-R1-Distill-Qwen-32B" \     --host 0.0.0.0 \     --port 8060 \     --dtype bfloat16 \     --tensor-parallel-size 2 \     --cpu-offload-gb 0 \     --gpu-memory-utilization 0.8 \     --max-model-len 8126 \     --api-key token-abc123 \     --enable-prefix-caching     --trust-remote-code

复制代码

关键参数阐明：

• export CUDA_VISIBLE_DEVICES=0,1 ：指定所使用的GPU，由于我本地有两块，这里指定了 0,1 , 如果只有一块的情况下可指定 0
  
• dtype: 数据范例，其中 bfloat16，16位浮点数，适合 NVIDIA A100 等设备。
  
• tensor-parallel-size：Tensor 并行的数目，当多 GPU 分布式推理时使用，建议和GPU的数目一致。
  
• cpu-offload-gb：答应将部分模型权重或中间效果卸载到 CPU 的内存中，单元为 GB。，模拟 GPU 内存扩展，如果部署的模型大于了显存大小可以设置该参数，但是推理速率会大大下降。
  
• gpu-memory-utilization：设置 GPU 内存利用率的上限。
  
• max-model-len：答应模型最大处理的Token数，该参数越大占用显存越大。
  
• enable-prefix-caching：启用前缀缓存减少重复计算。
  

显存占用情况：

基于以上配置启动后，团体大概占用了 79.2G 显存。如果启动显存不足，可适当调整 gpu-memory-utilization 和 max-model-len 参数，或通过 cpu-offload-gb 将部分模型权重卸载到内存中。
启动成功后，通过 /v1/models 接口可检察模型列表：

1. curl http://localhost:8060/v1/models -H "Authorization: Bearer token-abc123"

复制代码

测试API交互：

1. curl http://localhost:8060/v1/chat/completions \       -H "Content-Type: application/json" \       -H "Authorization: Bearer token-abc123" \       -d '{           "model": "DeepSeek-R1-Distill-Qwen-B",           "messages": [               {"role": "system", "content": "You are a helpful assistant."},               {"role": "user", "content": "你好，介绍一下你自己"}           ]       }'

复制代码

二、Open-WebUI 部署

Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台，旨在完全离线运行。它主要计划用于与大型语言模型（LLMs）进行交互，支持多种模型和API，提供了直观的图形用户界面，使得用户可以更方便地管理和运行模型。
Github 地址：
   https://github.com/open-webui/open-webui
  1. 部署

下载 open-webui 依赖 ：

1. pip install open-webui

复制代码

启动 open-webui ：

1. open-webui serve --port=4096

复制代码

启动成功后，欣赏器访问：http://ip:4096/ 即可打开 Open-WebUI 页面。
初次进入需要设置管理员账号暗码，设置完毕后，进入到如下所示主页：

2. 毗连 DeepSeek-R1-Distill-Qwen-32B 模型。

点击左下角进入管理员面板：

将 OpenAI API 和 Ollama API 关闭，条件如果你有这两个毗连的话，可以开启。然后保留 直接毗连 的开启：

然后再次点击左下角进入设置：

在外部链接中添加上面 vLLM 的服务：

模型ID 可以留空，会自动从 /v1/models 接口中获取。
保存后，点击左上角 新对话 ， 即可看到默认选择了 DeepSeek-R1-Distill-Qwen-32B 模型：

三、对话测试

怎样学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提拔的。
但是详细到个人，只能说是：
“开始把握AI的人，将会比较晚把握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，引导过不少偕行后辈。资助许多人得到了学习和发展。
我意识到有许多履历和知识值得分享给大家，也可以通过我们的能力和履历解答大家在人工智能学习中的许多困惑，所以在工作繁忙的情况下照旧坚持各种整理和分享。但苦于知识传播途径有限，许多互联网行业朋侪无法获得正确的资料得到学习提拔，故此将并将重要的AI大模型资料包罗AI大模型入门学习头脑导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的熟悉，对大模型 AI 的明白超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 谈天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 醒目什么？
  
• 大模型是怎样获得「智能」的？
  
• 用好 AI 的焦点心法
  
• 大模型应用业务架构
  
• 大模型应用技术架构
  
• 代码示例：向 GPT-3.5 灌入新知识
  
• 提示工程的意义和焦点头脑
  
• Prompt 典范构成
  
• 指令调优方法论
  
• 头脑链和头脑树
  
• Prompt 攻击和防范
  
• …
  

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。把握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
  
• 搭建一个简单的 ChatPDF
  
• 检索的底子概念
  
• 什么是向量表现（Embeddings）
  
• 向量数据库与向量检索
  
• 基于向量检索的 RAG
  
• 搭建 RAG 体系的扩展知识
  
• 混合检索与 RAG-Fusion 简介
  
• 向量模型本地部署
  
• …
  

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你根本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，把握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
  
• 什么是模型
  
• 什么是模型训练
  
• 求解器 & 损失函数简介
  
• 小实验2：手写一个简单的神经网络并训练它
  
• 什么是训练/预训练/微调/轻量化微调
  
• Transformer结构简介
  
• 轻量化微调
  
• 实验数据集的构建
  
• …
  

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、资本等方面有肯定的认知，可以在云端和本地等多种情况下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品司理。

• 硬件选型
  
• 带你了解全球大模型
  
• 使用国产大模型服务
  
• 搭建 OpenAI 署理
  
• 热身：基于阿里云 PAI 部署 Stable Diffusion
  
• 在本地计算机运行大模型
  
• 大模型的私有化部署
  
• 基于 vLLM 部署大模型
  
• 案例：怎样优雅地在阿里云私有部署开源大模型
  
• 部署一套开源 LLM 项目
  
• 内容安全
  
• 互联网信息服务算法存案
  
• …
  

学习是一个过程，只要学习就会有挑衅。天道酬勤，你越积极，就会成为越良好的自己。
如果你能在15天内完成全部的使命，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特性了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋侪们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。