IT评测·应用市场-qidao123.com技术社区

标题: linux多 GPU 环境摆设 DeepSeek-R1 模子 [打印本页]

作者: 石小疯 时间: 2025-2-25 11:57
标题: linux多 GPU 环境摆设 DeepSeek-R1 模子
设置多 GPU 环境以摆设 DeepSeek-R1 模子的详细步骤，包罗详细修改文件的位置和内容：
环境预备

安装 NVIDIA 驱动程序：
- 前往 NVIDIA 官方网站下载得当你 GPU 的最新驱动程序。
- 安装驱动程序后，可以通过命令行输入 nvidia-smi 来验证驱动程序是否安装成功。
安装 CUDA Toolkit：
- 根据你的 GPU 驱动程序版本，选择合适的 CUDA Toolkit 版本。例如，如果驱动程序版本是 450.80.02，可以安装 CUDA 11.0。
- 下载并安装 CUDA Toolkit。安装过程中，确保选择准确的安装路径和组件。
安装 cuDNN：
- 下载与 CUDA Toolkit 版本相匹配的 cuDNN。例如，CUDA 11.0 对应的 cuDNN 版本是 8.9.7。
- 解压 cuDNN 文件，并将 bin、include 和 lib64 文件夹复制到 CUDA Toolkit 的安装路径下。
设置环境变量：
- 设置 CUDA_HOME 环境变量，指向 CUDA Toolkit 的安装路径。例如：
  bash复制
  1. export CUDA_HOME=/usr/local/cuda
  复制代码
- 将 CUDA 的 bin 目次添加到 PATH 环境变量中：
  bash复制
  1. export PATH=$CUDA_HOME/bin:$PATH
  复制代码
- 将 CUDA 的库目次添加到 LD_LIBRARY_PATH 环境变量中：
  bash复制
  1. export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
  复制代码

设置 Ollama 服务

安装 Ollama 推理框架：
- 下载并安装 Ollama。访问 Ollama 官方网站 Download Ollama on macOS 下载适用于你的利用体系的版本。
- 使用以下命令安装 Ollama：
  bash复制
  1. curl -fsSL https://ollama.com/install.sh | sudo sh
  复制代码
设置 Ollama 服务文件：
- 打开 Ollama 服务设置文件：
  bash复制
  1. sudo nano /etc/systemd/system/ollama.service
  复制代码
- 在 [Service] 部门添加以下内容，以指定使用的 GPU 和其他环境变量：
  ini复制
  1. Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
  2. Environment="OLLAMA_HOST=0.0.0.0"
  3. Environment="OLLAMA_ORIGINS=*"
  复制代码
  如果只有一块 GPU，则设置为 export CUDA_VISIBLE_DEVICES=0。
刷新服务设置：
- 刷新服务设置并重启 Ollama 服务：
  bash复制
  1. sudo systemctl daemon-reload
  2. sudo systemctl restart ollama
  复制代码

摆设 DeepSeek-R1 模子

拉取 DeepSeek-R1 模子：
- 打开终端或命令提示符，输入以下命令拉取 DeepSeek-R1 模子：
  bash复制
  1. ollama pull deepseek-r1
  复制代码
  该命令会从 Ollama 的官方模子库中拉取 DeepSeek-R1 模子，并下载到本地。
运行模子：
- 使用以下命令启动 DeepSeek-R1 模子：
  bash复制
  1. ollama run deepseek-r1
  复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)