qidao123.com技术社区-IT企服评测·应用市场»论坛 › 软件与程序人生 › 前端开发 › linux环境下超详细NVIDIA驱动+CUDA+CUDNN+Anaconda3+oll ...

linux环境下超详细NVIDIA驱动+CUDA+CUDNN+Anaconda3+ollama+openweb-ui+dify-main离线摆设

[复制链接]
发表于 2025-4-1 05:22:41 | 显示全部楼层 |阅读模式
1.基础环境包安装

  2. #安装一下基础包
  3. [root@localhost software]# yum groupinstall -y "Development Tools"
  5. #安装完成之后需要 重启服务器
  6. [root@localhost software]#retoot
复制代码
2.安装显卡驱动（以A100为例）

2.1驱动下载

下载地点：Download The Official NVIDIA Drivers | NVIDIA
访问官网根据自己的显卡型号，下载 对应的驱动版本分别选择（Linux 64-bit RHEL 7和Linux 64-bit ），这两个都下载


点击检察

点击下载

下载对应文件（在这里 rpm包和runfile我都进行了下载）

2.2驱动安装

进行驱动安装
  1. [root@localhost software]# rpm -ivh /opt/software/nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm
复制代码
执行今后会主动创建一个nvidia-driver-local-rhel7-515.105.01.repo的yum源

安装runfile文件
  1. [root@localhost software]# sh /opt/software/NVIDIA-Linux-x86_64-515.105.01.run -no-x-check -no-nouveau-check -no-opengl-files
复制代码
选择yes

选择Ok 

出现以下内容表示安装完成

安装完成后，验证一下（又上交标注位置为支持cuda最大版本号）
  1. [root@localhost software]# nvidia-smi
复制代码

3.安装CUDA toolkit

3.1cuda下载

地点：https://developer.nvidia.com/cuda-toolkit-archive
选择自己想要下载的CDUA Toolkit

3.2下载cuda依靠包
下载eple源（找一台 可以联网的服务器大概虚拟机）
地点：epel-archive安装包下载_开源镜像站-阿里云
 新建一个repo文件
  1. [epel]
  2.    name=Extra Packages for Enterprise Linux 7 $basearch
  3.    baseurl=http://mirrors.aliyuncs.com/epel/7/$basearch
  4.    enabled=1
  5.    gpgcheck=1
  6.    gpgkey=file:///etc/pki/rpmgpg/RPMGPGKEYEPEL7
复制代码
安装下载好的nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm
  1. [root@localhost software]# rpm -ivh /opt/software/nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm
复制代码
清除yum缓存生成新的缓存
  1. [root@localhost software]# yum clean all
  2. [root@localhost software]# yum makecache
复制代码
下载依靠包
  1. [root@localhost ~]# yumdownloader cuda-drivers.x86_64
复制代码
检察依靠包中是否有vulkan-filesystem和libvdpau，如果没有就（记得删撤消i686的rpm包，安装时候会报错）
  1. [root@localhost ~]# yumdownloader vulkan-filesystem libvdpau
复制代码
将所有依靠包倒到响应服务器，然后执行
  1. [root@localhost cuda515]# yum -y install *
复制代码
3.2然后安装cuda

  1. [root@localhost cuda515]# sh cuda_11.7.0_515.43.04_linux.run
复制代码
输入accept

取消CUDA Toolkit 11.7之外的额其他选项。

选择“Options”

选择“Toolkit Options”

取消掉所有选项

选择“Change Toolkit Install Path”，回车

输入自定义目录，回车

选择done，回车，出现如下内容

选择Library install path，然后按回车键

输入自定义路径，回车

选择done，回车

选择insstall，回车

设置cuda环境变量
  1. [root@localhost software]# vi /etc/profile
  2. #加入如下配置
  3. export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-11.7
  4. export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.7/lib64
  5. export PATH=$PATH:/usr/local/cuda-11.7/bin
  7. [root@localhost software]# source /etc/profile
复制代码
4.安装cudnn

4.1cudnn下载 

地点：cuDNN Archive | NVIDIA Developer
 选择兼容cuda版本的cudnn

选择对应体系的包

4.2安装cudnn

  1. [root@localhost software]# tar -xvf cudnn-linux-x86_64-8.9.0.131_cuda11-archive.tar.xz
  2. [root@localhost software]# cd cudnn-linux-x86_64-8.9.0.131_cuda11-archive/
  3. [root@localhost cudnn-linux-x86_64-8.9.0.131_cuda11-archive]# cp include/cudnn* /usr/local/cuda-11.7/include/
  4. [root@localhost cudnn-linux-x86_64-8.9.0.131_cuda11-archive]# cp lib/libcudnn* /usr/local/cuda-11.7/lib64/
  5. [root@localhost cudnn-linux-x86_64-8.9.0.131_cuda11-archive]# chmod a+r /usr/local/cuda-11.7/include/cudnn*
  6. [root@localhost cudnn-linux-x86_64-8.9.0.131_cuda11-archive]# chmod a+r /usr/local/cuda-11.7/lib64/libcudnn*
复制代码
 5.安装 docker

网上有好多资料，这个 大家自行搜索，笔者就不多写了，给大家个 链接
地点：离线安装docker、docker-compose - H老师· - 博客园
注意设置daemon.json文件内容
  1. root@localhost hejun-docker]# vim /etc/docker/daemon.json
  2. #添加
  3. {
  5. }
复制代码
6.安装Anaconda3 

6.1下载Anaconda3（注意，下载python3.11版本的）

地点：Index of /
本人下载的是Anaconda3-2023.07-2-Linux-x86_64.sh

6.2安装Anaconda3

  1. [root@localhost software]# sh Anaconda3-2023.07-2-Linux-x86_64.sh
  2. 按照提示输入直接回车或输入yes
复制代码
6.3添加环境变量
  1. [root@localhost software]# vi /etc/profile
  3. export PATH=/root/anaconda3/bin:$PATH
  4. [root@localhost software]# source  /etc/profile
复制代码
 

7.安装pytouch框架

7.1下载pytouch

官网地点：Previous PyTorch Versions | PyTorch
在可联网服务器执行以下操作
根据官网地点创建requirements.txt 文件，特别注意版本对应 关系，本人设置 信息如下
  1. --find-links https://download.pytorch.org/whl/torch_stable.html
  2. torch==2.0.1+cu117
  3. torchvision==0.15.2
  4. torchaudio==2.0.2
  5. accelerate==0.21.0
  6. transformers==4.37.0
  7. safetensors==0.3.1
  8. vllm==0.2.1
复制代码
然后执行如下命令进行下载
  1. [root@localhost torch]# pip download -r requirements.txt
复制代码
 7.2安装pytorch

  1. [root@localhost torch]# pip install *.whl
复制代码

验证pytorch是否安装成功，import没有报错就表示安装成功

 8.安装ollama

8.1ollama下载

安装包下载地点：https://ollama.com/download/ollama-linux-amd64.tgz
8.2ollama安装
  1. [root@localhost ollama]# tar -zxvf ollama-linux-amd64.tgz
复制代码

 设置环境变量
  1. [root@localhost ollama]# vim /etc/profile
  2. #添加
  3. export PATH=$PATH:/opt/ollama/bin
  4. export OLLAMA_MODELS=/data/.ollama/models
  6. [root@localhost ollama]# source /etc/profile
复制代码
验证ollama
  1. [root@localhost ollama]# ollama -v
复制代码

 创建systemctl启动文件
  1. [root@localhost ollama]# vi /etc/systemd/system/ollama.service
  3. [Unit]
  4. Description=Ollama Service
  5. After=network-online.target
  7. [Service]
  8. ExecStart=/opt/ollama/bin/ollama serve
  9. User=root
  10. Group=root
  11. Restart=always
  12. RestartSec=3
  13. Environment="PATH=$PATH"
  14. #指定模型存储位置，可以直接在外网下载好模型，打包解压到内网的ollama的模型目录下，就能实现离线安装了
  15. Environment="OLLAMA_MODELS=/data/.ollama/models"
  16. #解决ollama无法访问的问题
  17. Environment="OLLAMA_HOST=0.0.0.0:11434"
  19. [Install]
  20. WantedBy=default.target
复制代码
修改完之后reload
  1. [root@localhost ollama]# systemctl daemon-reload
  3. #添加开机自启动
  4. [root@localhost ollama]# systemctl enable ollama
  5. [root@localhost ollama]# systemctl start ollama
  6. [root@localhost ollama]# systemctl status ollama
复制代码

9.安装deepseek模子

9.1下载模子

地点：Ollama
下载deepseek-r1


选择对应的模子

在可联网的ollama上下载：
  1. ollama run deepseek-r1:7b
复制代码
下载文件 对应关系

9.2安装deepseek-r1-70b模子

将模子倒到指定目录/data/.ollama/models/blobs/
  1. [root@localhost blobs]# cp sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339 /data/.ollama/models/blobs/
复制代码
创建 deepseek70b_modelfile.mf文件
  1. [root@localhost blobs]# cd /data/.ollama/models/
  2. [root@localhost models]# vim deepseek70b_modelfile.mf
  3. #添加
  4. FROM /data/.ollama/models/blobs/sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339
  5. TEMPLATE """
  6. {{- if .System }}{{ .System }}{{ end }}
  7. {{- range $i, $_ := .Messages }}
  8. {{- $last := eq (len (slice $.Messages $i)) 1}}
  9. {{- if eq .Role "user" }}<｜User｜>{{ .Content }}
  10. {{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
  11. {{- end }}
  12. {{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
  13. {{- end }}"""
  14. PARAMETER stop "<｜begin▁of▁sentence｜>"
  15. PARAMETER stop "<｜end▁of▁sentence｜>"   
  16. PARAMETER stop "<｜User｜>"   
  17. PARAMETER stop "<｜Assistant｜>"   
  18. PARAMETER temperature 0.6
复制代码
 创建模子
  1. [root@localhost models]# ollama create deepseek-r1:70b -f /data/.ollama/models/deepseek70b_modelfile.mf
复制代码
 

检察ollama模子
  1. [root@localhost models]# ollama list
复制代码

运行模子
  1. [root@localhost models]# ollama run deepseek-r1:70b
复制代码
10.安装Qwen模子

 10.1下载模子

地点：Ollama
下载Qwen


选择对应的模子

在可联网的ollama上下载：
  1. ollama run qwen2.5:7b
复制代码
下载文件 对应关系

10.2安装Qwen2.5-70b模子

 将模子倒到指定目录/data/.ollama/models/blobs/
  1. [root@localhost blobs]# cp sha256-6e7fdda508e91cb0f63de5c15ff79ac63a1584ccafd751c07ca12b7f442101b8/data/.ollama/models/blobs/
复制代码
创建 qwen70b_modelfile.mf文件
  1. [root@localhost blobs]# cd /data/.ollama/models/
  2. [root@localhost models]# vim qwen70b_modelfile.mf
  3. #添加
  4. FROM /data/.ollama/models/blobs/sha256-6e7fdda508e91cb0f63de5c15ff79ac63a1584ccafd751c07ca12b7f442101b8
复制代码
 创建模子
  1. [root@localhost models]# ollama create qwen:70b -f /data/.ollama/models/qwen70b_modelfile.mf
复制代码
 

检察ollama模子
  1. [root@localhost models]# ollama list
复制代码


运行模子
  1. [root@localhost models]# ollama run qwen:70b
复制代码
11.安装openweb-ui

11.1下载openweb-ui

在可联网服务器执行以下操作
使用docker拉取：
  1. docker pull ghcr.io/open-webui/open-webui:main
复制代码
 下载nvidia-container-toolkit
详细内容检察官网：https://nvidia.github.io/libnvidia-container/stable/rpm/x86_64/repodata/
下载repo（需要翻墙）
  1. [root@localhost toolkit]# cd /etc/yum.repos.d/
  2. [root@localhost yum.repos.d]# wget  https://nvidia.github.io/libnvidia-container/experimental/rpm/nvidia-container-toolkit.repo
  3. [root@localhost yum.repos.d]#yum makecache
复制代码
下载
  1. [root@localhost software]# yumdownloader nvidia-container-toolkit
  2. [root@localhost software]# yumdownloader nvidia-container-toolkit  --resolve
  3. [root@localhost software]# nvidia-container-runtime
复制代码
 11.2安装opwebui

安装nvidia-container-toolkit
  1. [root@localhost toolkit]# yum install *.rpm
复制代码
 

设置daemon文件
  1. [root@localhost toolkit]# vim /etc/docker/daemon.json
  3. #添加
  5. {
  7.      "runtimes": {
  9.        "nvidia": {
  11.          "path": "/usr/bin/nvidia-container-runtime",
  13.          "runtimeArgs": []
  15.        }
  17.      }
  19. }
复制代码

 安装openwebui
  1. [root@localhost software]# docker load -i openwebui.tar
复制代码
 

重启docker
  1. (base) [root@localhost software]# systemctl daemon-reload
  2. (base) [root@localhost software]# systemctl restart docker
  3. (base) [root@localhost software]# systemctl status docker
复制代码


启动openweb-ui
  1. [root@localhost software]# mkdir -p /app/backend/data
  3. #使用gpu启动
  4. [root@localhost software]# docker run -d -p 13000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
  6. 不使用GPU启动（此次不用此命令）
  7. docker run -d -p 13000:8080 -v ollama:/data/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
复制代码

验证
  1. [root@localhost software]# curl 20.35.0.27:13000
复制代码
 #出现html文件表示无误


12.安装dify-main

12.1下载dify-main

在可联网服务器执行以下操作
下载安装包
GitHub地点：https://github.com/langgenius/dify
解压文件
  1. [root@localhost dify-images]# unzip dify-main.zip
复制代码

镜像源设置如下，要不拉取不到
  1. {
  2.   "registry-mirrors": [
  3.     "https://docker.1ms.run",
  4.     "https://docker.xuanyuan.me"
  5.   ]
  6. }
复制代码
拉取镜像 
  1. [root@localhost dify-images]# cd dify
  2. [root@localhost docker]# cd docker
  3. [root@localhost docker]# cp .env.example .env
  4. [root@localhost docker]# docker compose up -d
复制代码
打包镜像
  1. [root@localhost docker]# docker save -o dify-web.tar langgenius/dify-web:0.14.2
  2. [root@localhost docker]# docker save -o dify-api.tar langgenius/dify-api:0.14.2
  3. [root@localhost docker]# docker save -o postgres.tar postgres:15-alpine
  4. [root@localhost docker]# docker save -o nginx.tar nginx:latest
  5. [root@localhost docker]# docker save -o dify-sandbox.tar langgenius/dify-sandbox:0.2.10
  6. [root@localhost docker]# docker save -o squid.tar ubuntu/squid:latest
  7. [root@localhost docker]# docker save -o weaviate.tar semitechnologies/weaviate:1.19.0
  8. [root@localhost docker]# docker save -o redis.tar redis/latest
复制代码
内网安装dify
  1. root@localhost dify-images]# cd /opt/software
  2. [root@localhost software]# unzip dify-main.zip
  3. #修改配置文件，修改对外服务端口号
  4. [root@localhost software]# cd dify-main/docker
  5. [root@localhost docker]# cp .env.example .env
  6. [root@localhost docker]# vim .env
  7. #修改EXPOSE_NGINX_PORT端口号
复制代码

加载相干服务镜像
  1. [root@localhost dify-images]# docker load -i dify-api.tar
  2. [root@localhost dify-images]# docker load -i dify-sandbox.tar
  3. [root@localhost dify-images]# docker load -i dify-web.tar
  4. [root@localhost dify-images]# docker load -i nginx.tar
  5. [root@localhost dify-images]# docker load -i postgres.tar
  6. [root@localhost dify-images]# docker load -i redis.tar
  7. [root@localhost dify-images]# docker load -i squid.tar
  8. [root@localhost dify-images]# docker load -i weaviate.tar
复制代码
#检察服务运行情况
  1. [root@localhost dify-images]# docker images
复制代码

启动dify服务
  1. [root@localhost dify-images]#  cd /opt/software/dify-main/docker
  2. [root@localhost docker]# docker-compose up -d
复制代码

验证
  1. [root@localhost yunwei]# curl 20.35.0.26:13000
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
继续阅读请点击广告

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

×
回复

使用道具 举报

返回列表

汕尾海湾
+ 我要发帖
×
登录参与点评抽奖，加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表