【DeepSeek保姆级教程】本地摆设DeepSeek-R1大模型,Linux本地摆设DeepSeek ...

打印 上一主题 下一主题

主题 1767|帖子 1767|积分 5301

Linux配置:

CPU >= 4 核
RAM >= 16 GB
Disk >= 50 GB
Docker >= 24.0.0 & Docker Compose >= v2.26.1
下载Ollama:Ollama 是一个可以在本地摆设和管理开源大语言模型的框架

下载地址:https://ollama.com/download

按需下载,这里我们以linux版本进行操作,复制安装语句到linux服务器上安装

安装完成,可以输入ollama检察是否安装成功

安装完ollama,进行修改配置文件,目标是让外部可以或许访问ollama,配置文件的路径/etc/systemd/system/ollama.service,输入vim /etc/systemd/system/ollama.service

在Environment参数中,添加OLLAMA_HOST=0.0.0.0:11434,保存关闭
然后更新配置:systemctl daemon-reload

重启:systemctl restart ollama

安装DeepSeek-r1模型:ollama run deepseek-r1:7b,安装完之后,即可进行问答操作,也可以在ollama中检察模型,语句ollama list


下载RAGFlow:RAGFlow 基于大语言AI模型的企业级智能问答知识库

RAGFlow的github地址:https://github.com/infiniflow/ragflow/blob/main/README_zh.md
先克隆RAGFlow项目到本地

下完完项目,目次下会有个ragflow文件,进入ragflow/docker,修改.env中ragflow版本为全量版本,默认是RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim版本,我们注释掉,选择全量版本进行安装

再使用docker进行安装ragflow
cd ragflow
docker compose -f docker/docker-compose.yml up -d

如果你碰到 Docker 镜像拉不下来的问题,可以在 docker/.env 文件内根据变量 RAGFLOW_IMAGE 的注释提示选择华为云大概阿里云的相应镜像。
华为云镜像名:swr.cn-north-4.myhuaweicloud.com/infiniflow/ragflow
阿里云镜像名:registry.cn-hangzhou.aliyuncs.com/infiniflow/ragflow
服务器启动成功后再次确认服务器状态:
docker logs -f ragflow-server
出现以下界面提示说明服务器启动成功:

在你的欣赏器中输入你的服务器对应的 IP 地址并登录 RAGFlow(http://你的IP地址)


添加模型后,就可以进行问答了,也可以添加个人知识库进行训练问答


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

盛世宏图

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表