linux环境下超详细NVIDIA驱动+CUDA+CUDNN+Anaconda3+ollama+openweb-ui+dify-main离线摆设
1.基础环境包安装#安装一下基础包
# yum groupinstall -y "Development Tools"
#安装完成之后需要 重启服务器
#retoot 2.安装显卡驱动（以A100为例）
2.1驱动下载
下载地点：Download The Official NVIDIA Drivers | NVIDIA
访问官网根据自己的显卡型号，下载 对应的驱动版本分别选择（Linux 64-bit RHEL 7和Linux 64-bit ），这两个都下载
https://i-blog.csdnimg.cn/direct/7d4b3ff2b2384ca2b4297811166d66b9.png
https://i-blog.csdnimg.cn/direct/20dbf187974a445bb1ac613f18021764.png
点击检察
https://i-blog.csdnimg.cn/direct/3f4c5e6b4efe459f9a671aab32edb044.png
点击下载
https://i-blog.csdnimg.cn/direct/203ac67258e34823b34928f81b37468a.png
下载对应文件（在这里 rpm包和runfile我都进行了下载）
https://i-blog.csdnimg.cn/direct/12ce63dd7d8a42dcbdd37cfe8de94dfc.png
2.2驱动安装
进行驱动安装
# rpm -ivh /opt/software/nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm 执行今后会主动创建一个nvidia-driver-local-rhel7-515.105.01.repo的yum源
https://i-blog.csdnimg.cn/direct/678cd405a5f24c8c866478cf5298687e.png
安装runfile文件
# sh /opt/software/NVIDIA-Linux-x86_64-515.105.01.run -no-x-check -no-nouveau-check -no-opengl-files 选择yes
https://i-blog.csdnimg.cn/direct/711aae4e81184d2aaff4edde4e01a7c3.png
选择Ok
https://i-blog.csdnimg.cn/direct/4c15bd5d593d46759b6907bc1fcb853d.png
出现以下内容表示安装完成
https://i-blog.csdnimg.cn/direct/3c2fabeee193465787166e905d927657.png
安装完成后，验证一下（又上交标注位置为支持cuda最大版本号）
# nvidia-smi https://i-blog.csdnimg.cn/direct/832de1a36e0f4b589f3773adbbbe3dac.png
3.安装CUDA toolkit
3.1cuda下载
地点：https://developer.nvidia.com/cuda-toolkit-archive
选择自己想要下载的CDUA Toolkit
https://i-blog.csdnimg.cn/direct/dd13a9bb01ae4b0fb9a27d02f3eead73.png
3.2下载cuda依靠包
下载eple源（找一台 可以联网的服务器大概虚拟机）
地点：epel-archive安装包下载_开源镜像站-阿里云
新建一个repo文件
name=Extra Packages for Enterprise Linux 7 $basearch
baseurl=http://mirrors.aliyuncs.com/epel/7/$basearch
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpmgpg/RPMGPGKEYEPEL7 安装下载好的nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm
# rpm -ivh /opt/software/nvidia-driver-local-repo-rhel7-515.105.01-1.0-1.x86_64.rpm 清除yum缓存生成新的缓存
# yum clean all
# yum makecache 下载依靠包
# yumdownloader cuda-drivers.x86_64
检察依靠包中是否有vulkan-filesystem和libvdpau，如果没有就（记得删撤消i686的rpm包，安装时候会报错）
# yumdownloader vulkan-filesystem libvdpau 将所有依靠包倒到响应服务器，然后执行
# yum -y install * 3.2然后安装cuda
# sh cuda_11.7.0_515.43.04_linux.run 输入accept
https://i-blog.csdnimg.cn/direct/7fe93a609ade4941a2e52bb125a49179.png
取消CUDA Toolkit 11.7之外的额其他选项。
https://i-blog.csdnimg.cn/direct/9715ca0aacfb445887d43c90115221e4.png
选择“Options”
https://i-blog.csdnimg.cn/direct/843b1f72544948159588208c1511c8ca.png
选择“Toolkit Options”
https://i-blog.csdnimg.cn/direct/98aeb73e7b574f4ab9222923432cbfcd.png
取消掉所有选项
https://i-blog.csdnimg.cn/direct/8d559388f2e14c7086d6e28605435dd9.png
选择“Change Toolkit Install Path”，回车
https://i-blog.csdnimg.cn/direct/fa3f380e83c946e89e6f509dc66042db.png
输入自定义目录，回车
https://i-blog.csdnimg.cn/direct/5118422d93634395804858ee82890e96.png
选择done，回车，出现如下内容
https://i-blog.csdnimg.cn/direct/0bf900c9bb444c87a25d158971c7b442.png
选择Library install path，然后按回车键
https://i-blog.csdnimg.cn/direct/0cfa7eca410d4b5d9be57f262a3f0fc8.png
输入自定义路径，回车
https://i-blog.csdnimg.cn/direct/77d9b70a1df646ec889894669552d492.png
选择done，回车
https://i-blog.csdnimg.cn/direct/5d4a931b8bb944e6a034229011549372.png
选择insstall，回车
https://i-blog.csdnimg.cn/direct/7b486ccaf11a40d49f98fcb42cc3a495.png
设置cuda环境变量
# vi /etc/profile
#加入如下配置
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-11.7
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.7/lib64
export PATH=$PATH:/usr/local/cuda-11.7/bin
# source /etc/profile 4.安装cudnn
4.1cudnn下载
地点：cuDNN Archive | NVIDIA Developer
选择兼容cuda版本的cudnn
https://i-blog.csdnimg.cn/direct/a78c68899b75433880662dc178489aea.png
选择对应体系的包
https://i-blog.csdnimg.cn/direct/04bc21178bf94a71ac0f55852579848c.png
4.2安装cudnn
# tar -xvf cudnn-linux-x86_64-8.9.0.131_cuda11-archive.tar.xz
# cd cudnn-linux-x86_64-8.9.0.131_cuda11-archive/
# cp include/cudnn* /usr/local/cuda-11.7/include/
# cp lib/libcudnn* /usr/local/cuda-11.7/lib64/
# chmod a+r /usr/local/cuda-11.7/include/cudnn*
# chmod a+r /usr/local/cuda-11.7/lib64/libcudnn* 5.安装 docker
网上有好多资料，这个 大家自行搜索，笔者就不多写了，给大家个 链接
地点：离线安装docker、docker-compose - H老师· - 博客园
注意设置daemon.json文件内容
root@localhost hejun-docker]# vim /etc/docker/daemon.json
#添加
{
} 6.安装Anaconda3
6.1下载Anaconda3（注意，下载python3.11版本的）
地点：Index of /
本人下载的是Anaconda3-2023.07-2-Linux-x86_64.sh
https://i-blog.csdnimg.cn/direct/3e0d65f6139346a39378b37bb1a091c9.png
6.2安装Anaconda3
# sh Anaconda3-2023.07-2-Linux-x86_64.sh
按照提示输入直接回车或输入yes 6.3添加环境变量
# vi /etc/profile
export PATH=/root/anaconda3/bin:$PATH
# source/etc/profile https://i-blog.csdnimg.cn/direct/3c9002f64f624f20823bf66ff811b473.png
7.安装pytouch框架
7.1下载pytouch
官网地点：Previous PyTorch Versions | PyTorch
在可联网服务器执行以下操作
根据官网地点创建requirements.txt 文件，特别注意版本对应 关系，本人设置 信息如下
--find-links https://download.pytorch.org/whl/torch_stable.html
torch==2.0.1+cu117
torchvision==0.15.2
torchaudio==2.0.2
accelerate==0.21.0
transformers==4.37.0
safetensors==0.3.1
vllm==0.2.1
然后执行如下命令进行下载
# pip download -r requirements.txt 7.2安装pytorch
# pip install *.whl https://i-blog.csdnimg.cn/direct/2ce68fbf8eae427780aa0c8cc4d8ba8a.png
验证pytorch是否安装成功，import没有报错就表示安装成功
https://i-blog.csdnimg.cn/direct/548a4dcb4f3e48e29d5a704afe2ec577.png
8.安装ollama
8.1ollama下载
安装包下载地点：https://ollama.com/download/ollama-linux-amd64.tgz
8.2ollama安装
# tar -zxvf ollama-linux-amd64.tgz https://i-blog.csdnimg.cn/direct/d8019fe9c16249b18b1c8845a5dd90e9.png
设置环境变量
# vim /etc/profile
#添加
export PATH=$PATH:/opt/ollama/bin
export OLLAMA_MODELS=/data/.ollama/models
# source /etc/profile 验证ollama
# ollama -v https://i-blog.csdnimg.cn/direct/b141ea4d4a7c475aa0c5928b1225f863.png
创建systemctl启动文件
# vi /etc/systemd/system/ollama.service
Description=Ollama Service
After=network-online.target
ExecStart=/opt/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置，可以直接在外网下载好模型，打包解压到内网的ollama的模型目录下，就能实现离线安装了
Environment="OLLAMA_MODELS=/data/.ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"
WantedBy=default.target
修改完之后reload
# systemctl daemon-reload
#添加开机自启动
# systemctl enable ollama
# systemctl start ollama
# systemctl status ollama https://i-blog.csdnimg.cn/direct/858776a5edee4002958713eee61c5838.png
9.安装deepseek模子
9.1下载模子
地点：Ollama
下载deepseek-r1
https://i-blog.csdnimg.cn/direct/36b50e013a584e6a91020181904bca60.png
选择对应的模子https://i-blog.csdnimg.cn/direct/4030ab20ffd649afb03aa85f7cdb376f.png
在可联网的ollama上下载：
ollama run deepseek-r1:7b 下载文件 对应关系
https://i-blog.csdnimg.cn/direct/a687b1c7c1244f0da5a93d5c75c6da49.jpeg
9.2安装deepseek-r1-70b模子
将模子倒到指定目录/data/.ollama/models/blobs/
# cp sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339 /data/.ollama/models/blobs/ 创建 deepseek70b_modelfile.mf文件
# cd /data/.ollama/models/
# vim deepseek70b_modelfile.mf
#添加
FROM /data/.ollama/models/blobs/sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339
TEMPLATE """
{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop "<｜begin▁of▁sentence｜>"
PARAMETER stop "<｜end▁of▁sentence｜>"
PARAMETER stop "<｜User｜>"
PARAMETER stop "<｜Assistant｜>"
PARAMETER temperature 0.6 创建模子
# ollama create deepseek-r1:70b -f /data/.ollama/models/deepseek70b_modelfile.mf https://i-blog.csdnimg.cn/direct/e39fc2f8372a4ffea299f1ce0f09d26b.png
检察ollama模子
# ollama list https://i-blog.csdnimg.cn/direct/86dc42ced83a4b2fba7bbda3dbef5ee8.png
运行模子
# ollama run deepseek-r1:70b 10.安装Qwen模子
10.1下载模子
地点：Ollama
下载Qwen
https://i-blog.csdnimg.cn/direct/60dcf06c445345c1900f11c084b27d11.png
选择对应的模子https://i-blog.csdnimg.cn/direct/9b2cae1e14fa44c8842cac1e9735c065.png
在可联网的ollama上下载：
ollama run qwen2.5:7b 下载文件 对应关系
https://i-blog.csdnimg.cn/direct/a687b1c7c1244f0da5a93d5c75c6da49.jpeg
10.2安装Qwen2.5-70b模子
将模子倒到指定目录/data/.ollama/models/blobs/
# cp sha256-6e7fdda508e91cb0f63de5c15ff79ac63a1584ccafd751c07ca12b7f442101b8/data/.ollama/models/blobs/ 创建 qwen70b_modelfile.mf文件
# cd /data/.ollama/models/
# vim qwen70b_modelfile.mf
#添加
FROM /data/.ollama/models/blobs/sha256-6e7fdda508e91cb0f63de5c15ff79ac63a1584ccafd751c07ca12b7f442101b8 创建模子
# ollama create qwen:70b -f /data/.ollama/models/qwen70b_modelfile.mf https://i-blog.csdnimg.cn/direct/b9a8f53a13f942b191b416eb073b533e.png
检察ollama模子
# ollama list
https://i-blog.csdnimg.cn/direct/d173218cfec54f66b9b824bb6e168353.png
运行模子
# ollama run qwen:70b 11.安装openweb-ui
11.1下载openweb-ui
在可联网服务器执行以下操作
使用docker拉取：
docker pull ghcr.io/open-webui/open-webui:main 下载nvidia-container-toolkit
详细内容检察官网：https://nvidia.github.io/libnvidia-container/stable/rpm/x86_64/repodata/
下载repo（需要翻墙）
# cd /etc/yum.repos.d/
# wgethttps://nvidia.github.io/libnvidia-container/experimental/rpm/nvidia-container-toolkit.repo
#yum makecache
下载
# yumdownloader nvidia-container-toolkit
# yumdownloader nvidia-container-toolkit--resolve
# nvidia-container-runtime 11.2安装opwebui
安装nvidia-container-toolkit
# yum install *.rpm https://i-blog.csdnimg.cn/direct/a5b80ff988b64fb89cc60b5191e77839.png
设置daemon文件
# vim /etc/docker/daemon.json
#添加
{
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
} https://i-blog.csdnimg.cn/direct/776558f159e34e42910719bbad0d939b.png
安装openwebui
# docker load -i openwebui.tar https://i-blog.csdnimg.cn/direct/b41d31c5e4f94d73997a5a9bf7cdf957.png
重启docker
(base) # systemctl daemon-reload
(base) # systemctl restart docker
(base) # systemctl status docker https://i-blog.csdnimg.cn/direct/346edb65eea34b0bba5093254568db37.png
启动openweb-ui
# mkdir -p /app/backend/data
#使用gpu启动
# docker run -d -p 13000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
不使用GPU启动（此次不用此命令）
docker run -d -p 13000:8080 -v ollama:/data/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main https://i-blog.csdnimg.cn/direct/c63086f4b8a84a4b884af0aa6b484d93.png
验证
# curl 20.35.0.27:13000 #出现html文件表示无误
https://i-blog.csdnimg.cn/direct/f397ea05a9cb4ad2977945b381ff2312.png
12.安装dify-main
12.1下载dify-main
在可联网服务器执行以下操作
下载安装包
GitHub地点：https://github.com/langgenius/dify
解压文件
# unzip dify-main.zip
镜像源设置如下，要不拉取不到
{
"registry-mirrors": [
"https://docker.1ms.run",
"https://docker.xuanyuan.me"
]
} 拉取镜像
# cd dify
# cd docker
# cp .env.example .env
# docker compose up -d
打包镜像
# docker save -o dify-web.tar langgenius/dify-web:0.14.2
# docker save -o dify-api.tar langgenius/dify-api:0.14.2
# docker save -o postgres.tar postgres:15-alpine
# docker save -o nginx.tar nginx:latest
# docker save -o dify-sandbox.tar langgenius/dify-sandbox:0.2.10
# docker save -o squid.tar ubuntu/squid:latest
# docker save -o weaviate.tar semitechnologies/weaviate:1.19.0
# docker save -o redis.tar redis/latest
内网安装dify
root@localhost dify-images]# cd /opt/software
# unzip dify-main.zip
#修改配置文件，修改对外服务端口号
# cd dify-main/docker
# cp .env.example .env
# vim .env
#修改EXPOSE_NGINX_PORT端口号 https://i-blog.csdnimg.cn/direct/273f383620ce41919a36caa3793dfa3b.png
加载相干服务镜像
# docker load -i dify-api.tar
# docker load -i dify-sandbox.tar
# docker load -i dify-web.tar
# docker load -i nginx.tar
# docker load -i postgres.tar
# docker load -i redis.tar
# docker load -i squid.tar
# docker load -i weaviate.tar #检察服务运行情况
# docker images https://i-blog.csdnimg.cn/direct/7ddedde7612c4b369f5d236ed37017b3.png
启动dify服务
#cd /opt/software/dify-main/docker
# docker-compose up -d https://i-blog.csdnimg.cn/direct/8d32b89ab7504ff89e1fdc8cd6c8dbe6.png
验证
# curl 20.35.0.26:13000
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]