【本地私有化摆设大模子】ubuntu+ragflow+deepseek-r1的摆设过程以及问题记载
记载在ubuntu系统上本地私有化deepseek大模子配置说明
[*]软件配置说明
[*]cuda工具配置说明
https://i-blog.csdnimg.cn/direct/6c932f44fd58417ba5f3533ec6802988.png
[*]ubuntu系统版本说明
https://i-blog.csdnimg.cn/direct/cf8badc936ae445c94930d059a6c00ec.png
[*]硬件配置说明
CPU：Intel 12400F
DRAM：32G
GPU：NVIDIA 4060Ti 16G
主存容量：512G
RagFlow安装和摆设
前置条件
[*]CPU >= 4 核
[*]RAM >= 16 GB
[*]Disk >= 50 GB
[*]Docker >= 24.0.0 & Docker Compose >= v2.26.1
docker的安装可以参考 Install Docker Engine ，官方给出的文章自行安装进去后里面可以在Supported platforms这个标题下选择对应的系统安装，这里我选择的ubuntu系统，接着根据官方的教程一步一步安装即可。
https://i-blog.csdnimg.cn/direct/d0b25fe741d840a99a46591f24765bcb.png
【tips】在完成docker的安装以后，建议提前更换docker利用的镜像源，在/etc/docker/daemon.json文件中添加对应的源，具体教程可以在网上寻找一下，当然也可以跟着ragflow官方的教程走，有更换源的操作。此处有一个未便利之处，因为本人的ubuntu用户账号未添加root权限，所以在这里可以将docker添入root用户组，默认拥有sudo权限，这样就不用在每次利用docker命令时，必要添加sudo关键字
$ sudo groupadd docker
$ sudo gpasswd -a ${USER} docker
$ sudo service docker restart
安装
[*]拉取ragflow项目
$ git clone https://github.com/infiniflow/ragflow.git
【tips】这一步如果说通过git拉取速度不快的话，建议直接接纳邪术方法：ragflow项目界面>code>Download ZIP直接下载，或者找国内的其他网站如gitee等网站，下载到本地必要存放的位置，然后解压缩。
https://i-blog.csdnimg.cn/direct/9eb060f9ffca4fa9a638a56dcd0bcecb.png
[*]进入 docker 文件夹，利用提前编译好的 Docker 镜像启动服务器：
$ cd ragflow/docker
$ docker compose -f docker-compose.yml up -d
【tips】根据官方教程，运行上述命令会自动下载 RAGFlow slim Docker 镜像 v0.17.0-slim。请参考原文检察差别 Docker 发行版的描述。如需下载差别于 v0.17.0-slim 的 Docker 镜像，请在运行 docker compose 启动服务之前先更新 ragflow/docker/.env 文件内的 RAGFLOW_IMAGE 变量。比如，你可以通过设置 RAGFLOW_IMAGE=infiniflow/ragflow:v0.17.0 来下载 RAGFlow 镜像的 v0.17.0 完整发行版。
[*]slim和非slim版本之间的区别在于，是否自带embedding模子，这两个版本之间的大小差距在7-10GB之间，因此在下载之前必要思量本地磁盘容量是否富足，本人下载利用的非slim版本，大小为18.3GB，slim版本大概在9-10GB上下
https://i-blog.csdnimg.cn/direct/751deddf8b75486d89bd4290a999a125.png
此外还必要注意，在镜像拉取完成之后，必要注意这里是否对应的镜像已经完整了，利用docker images命令检察镜像是否齐备，权限不够的在命令前面添加sudo docker images检察即可。
[*]检察docker容器内组件运行情况
$ docker logs -f ragflow-server
在docker镜像拉取以后，默认会启动镜像内容，接着就可以通过上述命令检察是否启动成功 ，启动成功应该是如下标记：
https://i-blog.csdnimg.cn/direct/92ce988797c246faab9b90ba14c72325.png
【tips】如果发现没有出现这个界面，可以进入ragflow/docker/ragflow-logs这个路径，检察ragflow_server.log文件中的内容，这里记载了ragflow运行过程中出现的问题，再进行逐一排查。
[*]必要注意在上述工作完成之后，不是要进入如下的两个网址：
[*]http://127.0.0.1:9380
[*]http://本地IP:9380
而是要进入：http://localhost:80 先注册账号，是下面这个页面，账号符合邮箱地点，暗码随便设置，反正数据都是生存在本地的:
https://i-blog.csdnimg.cn/direct/37f941872f194e66957cfc9d29da0a69.png
[*] 注册登录
在上图的界面中注册，然后登录就来到如下界面：
https://i-blog.csdnimg.cn/direct/a0ad97b98cae40dcb634a519c0f5d24f.png
[*] 配置模子
搭建好ragflow之后，我们就必要思量为ragflow挑选LLM模子，通过点击>右上角头像>左侧菜单栏模子提供商，选择符合的模子启动引擎即可，这里因为本地配置了ollama，所以利用ollama直接利用即可：
https://i-blog.csdnimg.cn/direct/428931262b164f7bb7eeecdec524c0b5.png
配置Ollama大模子启动引擎
[*]从官网下载Ollama模子加载器，官网给出的Linux下载命令是，其他系统的根据官网提示即可：
$ curl -fsSL https://ollama.com/install.sh | sh
【tips】利用这个下载的速度会非常慢，大概会卡死或者提示下载几天，建议可以从国内第三方网站下载，如魔塔社区等，通过这种方式下载的模子，就必要ollama文件中，通过命令行的方式安装ollama，这里我以魔搭社区中的提示为例：
$ cd ollama-linux
$ sudo chmod 777 ./ollama-modelscope-install.sh
$ ./ollama-modelscope-install.sh
安装完成后，一样平常系统会自动运行，输入以下命令，检察ollama是否已经安装完成：
$ ollama -v
安装成功会出现如下标记：
$ ollama version is 0.6.0
[*] 修改配置
在下载完成ollama模子后，不要急着去下载模子，建议在本地修改以下配置后在思量下载模子：
① 因为ollama默认下载的位置会将模子下载至如下地点/usr/share/ollama/.ollama/models，非常不利于我们检察和修改对应的信息，而且通常一个LLM模子的存储空间占用都是大几个GB或者几十GB起，最好根据本身的实际情况，放在相对安心的位置比力好；
②思量到接下来，ollama在启动模子后是必要在本地摆设并支持被外部访问，因此还必要添加ollama的本地地点利用0.0.0.0，否则默认启动会启用只有本机系统可用的127.0.0.1回环端口，这也就意味着前面在docker中摆设的ragflow作为外部应用无法访问。
基于上述问题，特此在/etc/systemd/system/ollama.service中的这一个下面导航栏下，添加以下信息：
# 模型下载地址设置，其中/xxx/可以根据自己的实际情况设置绝对地址或相对地址
Environment="OLLAMA_MODELS=/xxx/ollama/models"
# 访问端口设置
Environment="OLLAMA_HOST=0.0.0.0"
修改完上述文件后，对ollama重新加载并更新配置：
# 刷新配置
$ sudo systemctl daemon-reload
# 重启ollama
$ sudo systemctl restart ollama.service
# 查看一下重启后的ollama运行状态
$ sudo systemctl status ollama
[*] 下载模子
在完成上述内容之后，可以开始在ollama官网寻找对应的大模子进行下载：
https://i-blog.csdnimg.cn/direct/68851f7b8f504b6ebd6d9c8d9632916c.png
一样平常说来，接纳的命令如下：
$ ollama run deepseek-r1:14b
https://i-blog.csdnimg.cn/direct/dee2f6d900cc4c2aa0122f672cb77fec.png
等待命令完成后，在前面设置的模子存放路径下，就可以发现对应的模子参数文件。
https://i-blog.csdnimg.cn/direct/127495f8ecac4a7b8ea07040e40453ec.png
默认模子下载完成后，会进入模子加载模式，输入/bye即可退出
配置ragflow+ollama实现deepseek-r1本地摆设
[*] 配置端口
https://i-blog.csdnimg.cn/direct/b1ec40549f084abd88cf323aef6b07e9.png
在前文RagFlow安装和摆设 的5.配置端口标题中界面所示，选中ollama模子>添加模子，即可出现当前界面，模子类型选择chat(谈天模子)，模子名称通过ollama ls命令中所展示NAME列即可。
https://i-blog.csdnimg.cn/direct/e1c815efbe7c40cb88d98d9d5b40c311.png
【tips】必要注意的是对于基础Url的选择，由于我的RagFlow配置接纳的docker方式，所以说对应的url选择上就必要接纳host.docker.internal:11434的方式访问
[*] 配置本地知识库
接下来我们就可以创建知识库了
https://i-blog.csdnimg.cn/direct/92118f7462734948a218f00e878242c6.png
https://i-blog.csdnimg.cn/direct/18758cf3bc184906904f1bfe0dfa13f9.png
关于嵌入模子的选择上，选择一个前文所提到的非slim自带的嵌入模子即可，但是由于ragflow自带的embedding模子似乎只会调用cpu进行剖析，所以这里建议可以利用ollama本身摆设，步调同上，即可通过gpu调用的形式加载embedding模子，加速文档剖析速度。
https://i-blog.csdnimg.cn/direct/2a74ee4d0ce641dfa22304a7b05e2c19.png
之后点击数据集>新增文件>本地文件或者新建空文件，即可实现文件上传，剖析文件后，在谈天界面实现和模子畅快的谈天。
https://i-blog.csdnimg.cn/direct/773e8fa340ee402ab24b254a93878873.png
大概存在的问题汇总
[*]【划重点】善用日志排查问题
[*]ollama运行过程中遇到问题，利用如下命令检察ollama日志：
$ journalctl -u ollama -f
[*]ragflow运行过程中遇到问题，同前文【tips】中所示，检察对应的日志文件即可
[*]ragflow提示某个镜像组件未启动
如Can’t connect redis，无法链接redis库
# 查看已经启动的docker容器
$ docker ps
# xxx表示对应的ragflow需要的组件
$ docker start ragflow-xxx
[*]ragflow提示缺少某个组件 问题描述：如Failed to resolve ‘minio’ ( Temporary failure in name resolution)
办理方法：docker中重新抓一个镜像组件下来
$ docker pull ragflow-minio
[*]常用docker和ollama的帮助命令：
$ docker -h
$ ollama -h
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]