Linux:ollama+Dify大模子本地化部署打造个人知识库 (2)

打印 上一主题 下一主题

主题 812|帖子 812|积分 2436

ollama大模子部署-CSDN博客文章浏览阅读26次。Ollama 是一个能在本地机器上轻松构建和运行大型语言模子的轻量级、可扩展框架,实用于多种场景,具有易于使用、资源占用少、可扩展性强等特点。
https://blog.csdn.net/weixin_72819498/article/details/140094597
上一章我们部署了ollama大模子,Dify和ollama可以结合使用,以快速开发和部署AI应用。开发职员可以使用ollama在本地部署LLM,然后使用Dify进行应用开发和模子管理。

Dify介绍:

Dify 是一款开源的大语言模子(LLM)应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的天生式 AI 应用。纵然是非技术职员,也能参与到 AI 应用的界说和数据运营过程中。

Dify 内置了构建 LLM 应用所需的关键技术栈,包括对数百个模子的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎以及灵活的 Agent 框架,并同时提供了一套易用的界面和 API。这为开发者节省了很多重复造轮子的时间,使其可以专注于创新和业务需求。

普通的讲dify就像一个壳是为了更方便的去使用大模子并可以将大模子本地化部署,打造个人知识库

功能比较


如果你想了解更多关于 Dify 的信息,可以访问其官方网站:https://dify.ai/

1.查抄是否拥有Docker环境

Windows和Linux系统部署Docker容器(2)_docker windows linux-CSDN博客文章浏览阅读1.1k次,点赞44次,收藏23次。Docker并非是一个通用的容器工具,它依赖于已存在并运行的Linux内核环境。Docker实质上是在一个已运行的Linux下制造了一个隔离的文件环境,因此它执行的服从险些等同于所部署的Linux主机。_docker windows linux
https://blog.csdn.net/weixin_72819498/article/details/139295581
  1. docker -v
复制代码

2.从gitlab上克隆代码到服务器

#由于网站在国外很有可能拉取不下来,可能要多尝试频频,实在不行就设置镜像加速器
Docker设置国内镜像加速-2_设置docker加速-CSDN博客
  1. ​git clone https://github.com/langgenius/dify.git
复制代码
3.进入 dify 源代码的 docker 目录,执行一键启动下令:

  1. [root@dify ~]# cd dify/docker
  2. [root@dify docker]# docker compose up -d
复制代码
部署结果:

#如果全是对钩代表镜像拉取成功

4.浏览器访问:

服务器IP地址
http://192.168.100.102
(1)注册管理员账号


密码:123.com!
#注意:密码必须满足复杂度(数字字母+特殊符号不少于8为)
(2)登录账号


这样就进入了它的管理界面

5.添加ollama大模子


所测选择‘模子供应商’------ ‘ollama添加模子’


6.创建智能助手


(1)设置提示词


(2)尝试对话


(3)添加扩展工具


(4)添加开场白




免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

千千梦丶琪

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表