DeepSeek-容器化(Docker)摆设vLLM和Open WebUI
1.DeepSeek摆设-Win版本2.DeepSeek摆设-Linux版本
3.DeepSeek摆设-一键摆设(Linux版本)
4.DeepSeek摆设-进阶版本(Linux+GPU)
5.DeepSeek摆设-基于vLLM摆设
6.DeepSeek摆设-摆设Open WebUI
前面末节我们通过conda创建虚拟Python情况，实现vLLM和OpenWebUI的配置，但是这个安装摆设会非常繁琐非费时间。我们今天将使用容器来摆设。情况照旧使用ubuntu20.4，复用上个情况已经安装GPU驱动和模子文件。
1.安装Docker
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb https://download.docker.com/linux/ubuntu focal stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
apt update
apt install -y docker-ce docker-ce-cli containerd.io
systemctl start docker
systemctl enable docker 2.安装Nvidia-Docker
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
apt-get update
apt-get install -y nvidia-docker2
systemctl restart docker
https://i-blog.csdnimg.cn/img_convert/62324520a04e7e4123776b202936b72f.png
3.下载镜像
docker pull ghcr.io/open-webui/open-webui:cuda
docker pull vllm/vllm-openai
https://i-blog.csdnimg.cn/img_convert/f0c04ac0f61559191a7dfb39abae0026.png
4.运行vLLM容器
docker run -d \
--gpus all \
--restart unless-stopped \
--name deepseek-container \
--network host \
-v /root/deepseekr1_1.5b/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B:/model \
vllm/vllm-openai:latest \
--model /model \
--served-model-name deepseek-r1 \
--dtype half \
--api-key OPENWEBUI123
-d: 在后台运行容器。
--gpus all: 使用所有可用的 GPU。
--restart unless-stopped: 重启计谋为除非手动克制，否则总是重启容器。
--network host：使用主机网络，等同在主机网络里面启动容器。
--name deepseek-container: 给容器定名为 deepseek-container
-v /root/deepseekr1_1.5b/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B:/model: 将主机上的模子目次挂载到容器内的 /model路径。
vllm/vllm-openai:latest: 使用的 Docker 镜像名称和标签。
--model /model: 指定在容器内部使用的模子路径。
--served-model-name deepseek-r1: 设置对外提供服务时的模子名称。
--dtype half: 使用 float16数据类型，我的显卡必须添加这个。
--api-key OPENWEBUI123: 设置 API 密钥。
https://i-blog.csdnimg.cn/img_convert/988f1b5adaf20bd35a145c680a15603f.png
5.运行Open WebUI容器
docker run -d \
--name openwebui-container \
--network host \
--gpus all \
-e OPENAI_API_BASE_URL=http://localhost:8000/v1 \
-e OPENAI_API_KEYS=OPENWEBUI123 \
-e USE_CUDA_DOCKER=true \
ghcr.io/open-webui/open-webui:cuda
6.验证DeepSeek
#Open WebU访问地址，先创建管理员，然后进入对话界面，
http://x.x.x.x:8080
https://i-blog.csdnimg.cn/img_convert/3ef4f6e15ceb26643d7172168ac87e2a.png
这样我们就实现了容器化摆设，除了下载镜像需要耗费一点时间，其他操作相对比较简单.
运维小路
一个不会开辟的运维！一个要学开辟的运维！一个学不会开辟的运维！接待各人骚扰的运维！
关注微信公众号《运维小路》获取更多内容。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]