克日，我部门从供应商那儿借来一台高算力服务器，用来实行本地化部署DeepSeek。该服务器型号为ASUS ESC8000A-E11，详细设置如下：
CPU：AMD EPYC 7702（64核）* 2
GPU：（天数智芯）智凯100 * 8
RAM：512G
HDD：n/a
SSD：1T
以下是详细安装步骤：
1. 利用系统安装
利用系统选择的是openEuler 22.03 (LTS-SP3)，其内核版本为5.10.0；未选择最新版本的openEuler的原因是因为在安装GPU厂商提供的驱动时对linux内核版本有限制，详细哪些内核版本符合要求需参考GPU厂商的技能文档。
# uname -r
5.10.0-182.0.0.95.oe2203sp3.x86_64
设置主机IP为：172.19.250.1/24
2. 安装GPU驱动
从GPU厂商那儿得到以下2个文件：
partial_install_cuda_header.zip
corex-installer-linux64-4.2.0_x86_64_10.2.run
2.1 安装CUDA头文件
# unzip partial_install_cuda_header.zip
# cd partial_install_cuda_header/
# bash install-cuda-header.sh
2.2 安装(corex)gpu驱动
# bash corex-installer-linux64-4.2.0_x86_64_10.2.run
第一步，输入 accept , 回车 （同意EULA继续）
第二步，同时选上 "Driver" 和 "Toolkit" 组件后，继续安装
安装之后，export环境变量如下：
# export LD_LIBRARY_PATH=/usr/local/corex-4.2.0/lib LD_LIBRARY_PATH
# export PATH=/usr/local/corex-4.2.0/binPATH
2.3 输入以下命令，检查一下gpu驱动及工具是否正确安装上了：
# ixsmi
正确安装的情况下，输出如下：
3. 安装Xinference框架
3.1 安装Xinference
此处，我们完全参考了以下博文
有道云笔记
来安装Xinference框架的。
进入容器，执行bash startup.sh启动Xinference服务。
打开浏览器，输入下面地址进入图形界面启动模型
http://172.19.250.1:9997/ui/
如下：
3.2 启动模型
点按左侧导航栏的"启动模型"，在右侧"语言模型"下"搜刮模型名称和描述"栏内，输入"deepseek-r1"举行过滤，如下：
点击靠左侧的"deepseek-r1-distill-llama"模型，在弹出窗口中做如下设置：
末了，点按左下的小火箭图标，等待Xinference框架下载、启动deepseek-r1-distill-llama
3.3 检查正在运行的模型
颠末漫长的等待，上图中的小火箭图标“嗖”的一下发射了，阐明咱们的模型已经在本地跑起来了。
点按左侧导航栏的"运行模型"，此时页面显示如下：
4. 安装open-webui，提供相对友好的对话接口
4.1 安装open-webui
# conda create -n webui python=3.11
# conda activate webui
(webui) [root@deepseek ~]# git clone https://github.com/open-webui/open-webui.git
(webui) [root@deepseek ~]# cd open-webui
(webui) [root@deepseek ~]# pip install -r backend/requirements.txt
(webui) [root@deepseek ~]# pip install open-webui
4.2 启动open-webui
(webui) [root@deepseek ~]# nohup open-webui serve > /dev/null &
4.3 对接Xinference框架
打开浏览器，访问open-webui
http://172.19.250.1:8080/
注册第一个用户，即为系统管理员。
进入管理员面板，修改OpenAI API连接为本机的Xinference接口(全面兼容OpenAI API)：
下一步，还需要修改当前模型的属性为public（对普通用户可见）：
至此，咱们就可以跟本地化部署的deepseek举行对话了：
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 | 
