linux多 GPU 环境摆设 DeepSeek-R1 模子

设置多 GPU 环境以摆设 DeepSeek-R1 模子的详细步骤，包罗详细修改文件的位置和内容：
环境预备

• 安装 NVIDIA 驱动程序：
  
  
  
  • 前往 NVIDIA 官方网站下载得当你 GPU 的最新驱动程序。
    
  • 安装驱动程序后，可以通过命令行输入 nvidia-smi 来验证驱动程序是否安装成功。
    
  
  
• 安装 CUDA Toolkit：
  
  
  
  • 根据你的 GPU 驱动程序版本，选择合适的 CUDA Toolkit 版本。例如，如果驱动程序版本是 450.80.02，可以安装 CUDA 11.0。
    
  • 下载并安装 CUDA Toolkit。安装过程中，确保选择准确的安装路径和组件。
    
  
  
• 安装 cuDNN：
  
  
  
  • 下载与 CUDA Toolkit 版本相匹配的 cuDNN。例如，CUDA 11.0 对应的 cuDNN 版本是 8.9.7。
    
  • 解压 cuDNN 文件，并将 bin、include 和 lib64 文件夹复制到 CUDA Toolkit 的安装路径下。
    
  
  
• 设置环境变量：
  
  
  
  • 设置 CUDA_HOME 环境变量，指向 CUDA Toolkit 的安装路径。例如：
    bash复制
    
    1. export CUDA_HOME=/usr/local/cuda

    复制代码
  • 将 CUDA 的 bin 目次添加到 PATH 环境变量中：
    bash复制
    
    1. export PATH=$CUDA_HOME/bin:$PATH

    复制代码
  • 将 CUDA 的库目次添加到 LD_LIBRARY_PATH 环境变量中：
    bash复制
    
    1. export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

    复制代码
  
  

设置 Ollama 服务

• 安装 Ollama 推理框架：
  
  
  
  • 下载并安装 Ollama。访问 Ollama 官方网站 Download Ollama on macOS 下载适用于你的利用体系的版本。
    
  • 使用以下命令安装 Ollama：
    bash复制
    
    1. curl -fsSL https://ollama.com/install.sh | sudo sh

    复制代码
  
  
• 设置 Ollama 服务文件：
  
  
  
  • 打开 Ollama 服务设置文件：
    bash复制
    
    1. sudo nano /etc/systemd/system/ollama.service

    复制代码
  • 在 [Service] 部门添加以下内容，以指定使用的 GPU 和其他环境变量：
    ini复制
    
    1. Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
    2. Environment="OLLAMA_HOST=0.0.0.0"
    3. Environment="OLLAMA_ORIGINS=*"

    复制代码
    如果只有一块 GPU，则设置为 export CUDA_VISIBLE_DEVICES=0。
    
  
  
• 刷新服务设置：
  
  
  
  • 刷新服务设置并重启 Ollama 服务：
    bash复制
    
    1. sudo systemctl daemon-reload
    2. sudo systemctl restart ollama

    复制代码
  
  

摆设 DeepSeek-R1 模子

• 拉取 DeepSeek-R1 模子：
  
  
  
  • 打开终端或命令提示符，输入以下命令拉取 DeepSeek-R1 模子：
    bash复制
    
    1. ollama pull deepseek-r1

    复制代码
    该命令会从 Ollama 的官方模子库中拉取 DeepSeek-R1 模子，并下载到本地。
    
  
  
• 运行模子：
  
  
  
  • 使用以下命令启动 DeepSeek-R1 模子：
    bash复制
    
    1. ollama run deepseek-r1

    复制代码
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。