linux多 GPU 环境摆设 DeepSeek-R1 模子
设置多 GPU 环境以摆设 DeepSeek-R1 模子的详细步骤，包罗详细修改文件的位置和内容：环境预备
[*] 安装 NVIDIA 驱动程序：
[*] 前往 NVIDIA 官方网站下载得当你 GPU 的最新驱动程序。
[*] 安装驱动程序后，可以通过命令行输入 nvidia-smi 来验证驱动程序是否安装成功。
[*] 安装 CUDA Toolkit：
[*] 根据你的 GPU 驱动程序版本，选择合适的 CUDA Toolkit 版本。例如，如果驱动程序版本是 450.80.02，可以安装 CUDA 11.0。
[*] 下载并安装 CUDA Toolkit。安装过程中，确保选择准确的安装路径和组件。
[*] 安装 cuDNN：
[*] 下载与 CUDA Toolkit 版本相匹配的 cuDNN。例如，CUDA 11.0 对应的 cuDNN 版本是 8.9.7。
[*] 解压 cuDNN 文件，并将 bin、include 和 lib64 文件夹复制到 CUDA Toolkit 的安装路径下。
[*] 设置环境变量：
[*] 设置 CUDA_HOME 环境变量，指向 CUDA Toolkit 的安装路径。例如：
bash复制
export CUDA_HOME=/usr/local/cuda
[*] 将 CUDA 的 bin 目次添加到 PATH 环境变量中：
bash复制
export PATH=$CUDA_HOME/bin:$PATH
[*] 将 CUDA 的库目次添加到 LD_LIBRARY_PATH 环境变量中：
bash复制
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH
设置 Ollama 服务
[*] 安装 Ollama 推理框架：
[*] 下载并安装 Ollama。访问 Ollama 官方网站 Download Ollama on macOS 下载适用于你的利用体系的版本。
[*] 使用以下命令安装 Ollama：
bash复制
curl -fsSL https://ollama.com/install.sh | sudo sh
[*] 设置 Ollama 服务文件：
[*] 打开 Ollama 服务设置文件：
bash复制
sudo nano /etc/systemd/system/ollama.service
[*] 在 部门添加以下内容，以指定使用的 GPU 和其他环境变量：
ini复制
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*" 如果只有一块 GPU，则设置为 export CUDA_VISIBLE_DEVICES=0。
[*] 刷新服务设置：
[*] 刷新服务设置并重启 Ollama 服务：
bash复制
sudo systemctl daemon-reload
sudo systemctl restart ollama
摆设 DeepSeek-R1 模子
[*] 拉取 DeepSeek-R1 模子：
[*] 打开终端或命令提示符，输入以下命令拉取 DeepSeek-R1 模子：
bash复制
ollama pull deepseek-r1 该命令会从 Ollama 的官方模子库中拉取 DeepSeek-R1 模子，并下载到本地。
[*] 运行模子：
[*] 使用以下命令启动 DeepSeek-R1 模子：
bash复制
ollama run deepseek-r1
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]