ToB企服应用市场:ToB评测及商务社交产业平台

标题: docker desktop利用ollama在GPU上运行deepseek r1大模型 [打印本页]

---

作者: 慢吞云雾缓吐愁    时间: 2025-2-15 01:16
标题: docker desktop利用ollama在GPU上运行deepseek r1大模型
一、安装docker

• 安装WSL
  
• 打开Hyper V
  

可以参考：用 Docker 快速安装软件_哔哩哔哩_bilibili
二、拉取ollama镜像
在powershell中运行如下下令，即可拉取最新版本的ollama镜像：

1. docker pull ollama/ollama

复制代码

假如必要指定版本，可以用如下下令：

1. # CPU 或 Nvidia GPU下载ollama 0.3.0
2. docker pull ollama/ollama:0.3.0
3. # AMD GPU下载ollama 0.3.0
4. docker pull ollama/ollama:0.3.0-rocm

复制代码

 
三：启动ollama容器：
方式一：docker desktop界面启动

• 下载完成后，可以在 Images中找到 Ollama 镜像，点击 run 标识即可运行，注意运行前在弹出的可选设置里面，选定一个端标语（如8089）。
  

方式二：下令行启动

• CPU 版本：
  1. docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

  复制代码
• GPU版本：
  1. docker run -d --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

  复制代码
  
  

注：也可以通过docker-compose.yaml配置文件拉取ollama，参考Docker摆设全攻略：Ollama安装、当地大模型配置与One-API接入_ollama docker摆设-CSDN博客
关于ollama利用GPU还可以参考：在Linux上如何让ollama在GPU上运行模型_ollama利用gpu-CSDN博客
Ollama 现已推出官方 Docker 镜像 · Ollama 博客 - Ollama 框架
四、在ollama容器中拉取deepseek r1模型
我拉取的是14B，大家可以根据本身电脑配置选择差别版本大模型
在ollama容器中执行如下下令，等待下载好deepseek-r1完成即可：

1. ollama run deepseek-r1:14b

复制代码

参考：deekseek-r1当地摆设指南极简版-CSDN博客
 假如大家还想利用open web ui可以参考：deepseek-r1落地指南（搭建web-ui | 搭建当地代码编辑器）-CSDN博客
五、（可选）运行deepseek并调用GPU
假如在“三：启动ollama容器：”中启用的是CPU版本的容器，则deepseek无法调用GPU，假如还想调用GPU，应该如下操纵：
1.验证docker可以调用GPU下令如下：

1. docker run --gpus all ubuntu nvidia-smi

复制代码

2.制作镜像生存在当地，下令如下：

1. docker commit 5ae3d25d6f5d odeepseek14b

复制代码

3.运行镜像，生成容器，下令如下（下令中要包含--gpus=all才气调用GPU）：

1. docker run -d --gpus=all --hostname=5ae3d25d6f5d --env=PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin --env=OLLAMA_HOST=0.0.0.0 --env=LD_LIBRARY_PATH=/usr/local/nvidia/lib:/usr/local/nvidia/lib64 --env=NVIDIA_DRIVER_CAPABILITIES=compute,utility --env=NVIDIA_VISIBLE_DEVICES=all --network=bridge -p 8089:11434 --restart=no --label='org.opencontainers.image.ref.name=ubuntu' --label='org.opencontainers.image.version=22.04' --runtime=runc -d odeepseek14b

复制代码

注意：调用GPU时，假如加上--gpus=all，则容器inspect中会显示如下：

1.                 "DeviceRequests": [
2.                         {
3.                                 "Driver": "",
4.                                 "Count": -1,
5.                                 "DeviceIDs": null,
6.                                 "Capabilities": [
7.                                         [
8.                                                 "gpu"
9.                                         ]
10.                                 ],
11.                                 "Options": {}
12.                         }
13.                 ],

复制代码

假如没有加 --gpus=all，会显示：

1. "DeviceRequests": null,

复制代码

则无法调用GPU
4.验证容器中是否调用GPU成功，下令如下：

1. nvidia-smi

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4