【LLM】在PAI-DSW上利用 vLLM + Open-WebUI 部署Qwen2.5

最近在玩LLM，听闻PAI-DSW有三个月免费试用，试了一下感觉还不错，就是有一些学习本钱。刚通过vllm+open-webui成功部署了Qwen2.5-7B-Instruct，也是探索了一段时间，记录一下以便需要利用同样方案的朋友们节省时间，迅速上手。
简便起见，本文所有安装均利用pip工具，不利用docker。
总体思路

从modelscope下载模型，运行vllm serve构建服务器，然后通过Open-WebUI毗连并开始对话。
PAI-DSW部署的难点

重要有两个：

• 不是本机，没法方便地科学上网。特别是无法直连hugging face；
  
• 镜像不能完全涵盖所需要的情况。
  
• 不是本机，不能直接用欣赏器打开localhost（即0.0.0.0）
  

展开说一下第二点：vllm需要cuda 12以上才气利用，11.8会提示过旧；open-webui需要利用python 3.11才可以利用pip安装。然而，PAI-DSW的镜像中要么是py310+cu121，要么是py311+cu118，欲哭无泪。末了发起各人选择py310+cu121的方案，我们可以通过安装Anaconda，利用虚拟情况来部署Open-WebUI。
对于第三点，原来我以为是不能直接打开的，还专门用了cpolar做透传，结果发现阿里已经想到这一点了，直接点击终端里的链接就能访问，太贴心了。
具体安装流程

模型下载

这里发起通过modelscope下载，非常快，平均速度在300MB/s左右。
主动下载（略）

据我所知，你可以直接利用vllm通过modelscope下载模型，如果默认用的是hugging face可以通过在终端输入

1. export VLLM_USE_MODELSCOPE=True

复制代码

然后运行vllm serve，输入模型地点即可下载。但是我在vllm v0.6.1.post2没有成功，故采取手动下载方式，这样实在也不错，不麻烦。
手动下载（保举）

首先安装modelscope包。由于DSW是有预装的镜像文件的，故发起利用裸python情况进行设置，省去设置的时间。

1. pip install -U modelscope

复制代码

然后在modelscope上打开你要下载的模型，这里以Qwen2.5-7B-Instruct为例。点击右上角的下载模型，向下滑动到命令行下载界面，你会看到

此时你可以复制并运行这条语句，然后服务器就会猛猛下载。固然，如果你想指定下载路径，可以添加–local_dir参数，例如：此时你可以复制并运行这条语句，然后服务器就会猛猛下载。固然，如果你想指定下载路径，可以添加–local_dir参数，例如：

1. modelscope download --model qwen/Qwen2.5-7B-Instruct --local_dir /mnt/workspace/models/Qwen2.5

复制代码

你可以输入

1. modelscope download --help

复制代码

以检察更多参数。
Vllm部署

一样利用pip进行安装

1. pip install -U vllm

复制代码

这次大概有点久，等待安装完成后，输入如下命令，观察是否正常运行：这次大概有点久，等待安装完成后，输入如下命令，观察是否正常运行（留意修改模型路径）：

1. vllm serve YOUR/PATH/TO/MODEL --dtype auto --api-key token-abc123

复制代码

如果出现报错

则说明模型长度过长(32768)，通过指定–max-model-len(<=18656)来指定长度，命令如下。

1. vllm serve models/Qwen2.5-7B-Instruct/ --dtype auto --api-key token-abc123 --max-model-len 8192

复制代码

随后，我们运行如下命令，观察openai api是否启动成功。openai api是Open-WebUI所需要利用的工具。

1. curl http://localhost:8000/v1/models -H "Authorization: Bearer token-abc123" | jq

复制代码

若表现“jq：未找到命令”，则利用apt install安装，然后再次运行指令。如果观察到输出

则说明服务启动成功。我们进行下一步。
（这里做个表明，通过打印输出auth_headers即可得到{‘Authorization’: ‘Bearer token-abc123’}，Bearer是不变的，后面的token根据你的参数设置而改变。）
Open-WebUI部署

安装Anaconda

首先，上Anaconda官方堆栈下载符合你设备的安装工具，这里我利用的是https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Linux-x86_64.sh。然后上终端，利用wget下载：

1. wget https://repo.anaconda.com/archive/Anaconda3-2024.06-1-Linux-x86_64.sh

复制代码

添加操作权限并运行

1. chmod +x Anaconda3-2024.06-1-Linux-x86_64.sh
2. ./Anaconda3-2024.06-1-Linux-x86_64.sh

复制代码

随后按照安装提示进行安装即可（发起同意conda init）。
创建虚拟情况并安装Open-WebUI

前文提到，我们需要创建一个python 3.11的情况：

1. conda create -n oi python=3.11

复制代码

确认后回车，等待安装完成，然后激活情况并安装Open-WebUI

1. conda activate oi
2. pip install open-webui

复制代码

等待安装完成，然后运行

1. open-webui serve

复制代码

这个时候，不能科学上网的弊端就来了，Hugging face大概会访问超时！由于安装好了，我这里无法提供截图，语言形貌一下大致的报错：非常非常长的五颜六色的报错，另有表格之类，输出很多信息，在报错的最底下会表现Network之类的字样，同时给出“huggingface.co"另有403等字样。这就是网络毗连出问题了，此时我们需要利用这条语句：

1. export HF_ENDPOINT=https://hf-mirror.com

复制代码

用以接入到国内的镜像站。此时再次运行open-webui serve
，可以看到开始下载设置，直到出现：用以接入到国内的镜像站。此时再次运行open-webui serve
，可以看到开始下载设置，直到出现：

恭喜！你已经完成了大部分工作，间隔成功仅有一步之遥！点击输出的链接http://0.0.0.0:8080即可进入open-webui

注册并登录，我们进行末了一步。
获取模型

首先，利用你之前的参数重新运行vllm serve。等待服务完全运行起来后，会周期地进行输出，此时我们回到Open-WebUI，点击右上角头像，选择“管理员面板”，点击左上角的“设置”，然后点击外部毗连：

然后将vllm的地点“http://0.0.0.0:8000/v1”替换掉默认的OpenAI API。留意加上“/v1”。输入你所设置的token密钥
因为我们是vllm部署，没有用到ollama，可以将其关闭。

输入完成后，点击右边的革新按钮测试毗连，如果表现已验证服务器毗连，则点击右下角生存。 如果表现Network problem，则查抄拼写，是否是写了https或打错字。
点击生存后，如果弹出“生存设置成功”一类的字样，那么恭喜你，大功告成！
此时回到主页面，点击左上角选择模型，就应该出现已加载的模型：

启动，并开始第一次对话！

回到Open-WebUI的主页面，选择模型，然后开始第一次对话！

留意，每次利用模型进行对话前，都需要先启动vllm，然后启动open webui。
愉快地对话吧！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。