DeepSeek-容器化(Docker)摆设vLLM和Open WebUI

1.DeepSeek摆设-Win版本
2.DeepSeek摆设-Linux版本
3.DeepSeek摆设-一键摆设(Linux版本)
4.DeepSeek摆设-进阶版本(Linux+GPU)
5.DeepSeek摆设-基于vLLM摆设
6.DeepSeek摆设-摆设Open WebUI
前面末节我们通过conda创建虚拟Python情况，实现vLLM和OpenWebUI的配置，但是这个安装摆设会非常繁琐非费时间。我们今天将使用容器来摆设。情况照旧使用ubuntu20.4，复用上个情况已经安装GPU驱动和模子文件。
1.安装Docker

1. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
2. echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu focal stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
3. apt update
4. apt install -y docker-ce docker-ce-cli containerd.io
5. systemctl start docker
6. systemctl enable docker

复制代码

2.安装Nvidia-Docker

1. distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
2. curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
3. curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
4. apt-get update
5. apt-get install -y nvidia-docker2
6. systemctl restart docker

复制代码

3.下载镜像​​​​​​​

1. docker pull ghcr.io/open-webui/open-webui:cuda
2. docker pull vllm/vllm-openai

复制代码

4.运行vLLM容器​​​​​​​

1. docker run -d \
2.   --gpus all \
3.   --restart unless-stopped \
4.   --name deepseek-container \
5.   --network host \
6.   -v /root/deepseekr1_1.5b/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B:/model \
7.   vllm/vllm-openai:latest \
8.   --model /model \
9.   --served-model-name deepseek-r1 \
10.   --dtype half \
11.   --api-key OPENWEBUI123

复制代码

-d: 在后台运行容器。
--gpus all: 使用所有可用的 GPU。
--restart unless-stopped: 重启计谋为除非手动克制，否则总是重启容器。
--network host：使用主机网络，等同在主机网络里面启动容器。
--name deepseek-container: 给容器定名为 deepseek-container
-v /root/deepseekr1_1.5b/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B:/model: 将主机上的模子目次挂载到容器内的 /model路径。
vllm/vllm-openai:latest: 使用的 Docker 镜像名称和标签。
--model /model: 指定在容器内部使用的模子路径。
--served-model-name deepseek-r1: 设置对外提供服务时的模子名称。
--dtype half: 使用 float16数据类型，我的显卡必须添加这个。
--api-key OPENWEBUI123: 设置 API 密钥。

5.运行Open WebUI容器​​​​​​​

1. docker run -d \
2.   --name openwebui-container \
3.   --network host \
4.   --gpus all \
5.   -e OPENAI_API_BASE_URL=http://localhost:8000/v1 \
6.   -e OPENAI_API_KEYS=OPENWEBUI123 \
7.   -e USE_CUDA_DOCKER=true \
8.   ghcr.io/open-webui/open-webui:cuda

复制代码

6.验证DeepSeek​​​​​​​

1. #Open WebU访问地址，先创建管理员，然后进入对话界面，
2. http://x.x.x.x:8080

复制代码

这样我们就实现了容器化摆设，除了下载镜像需要耗费一点时间，其他操作相对比较简单.
运维小路
一个不会开辟的运维！一个要学开辟的运维！一个学不会开辟的运维！接待各人骚扰的运维！
关注微信公众号《运维小路》获取更多内容。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。