ToB企服应用市场:ToB评测及商务社交产业平台

标题: 本地摆设多模态大模子，结合Open-WebUI和Dify实现多模态对话、智能体！ [打印本页]

---

作者: 欢乐狗    时间: 2025-1-9 18:05
标题: 本地摆设多模态大模子，结合Open-WebUI和Dify实现多模态对话、智能体！
近来几年，随着ChatGPT的发布，越来越多的大模子喷涌而出，越来越多的人体会到了大模子带来的便利，如知识问答、代码编写、语音合成、图像合成、智能对话等等。大模子的参数量通常非常大，得益于大模子框架以及量化技术的发展，目前，我们在个人电脑上也能够摆设和推理大模子，即安全又隐私。
今天，给各人先容一下如何在个人电脑上通过Ollama和OpenWeb-UI搭建一个属于自己的多模态大模子，能够结合本地知识库进行智能问答、图像分析等，并结合Dify构建本地的智能体。支持Windows、macos、Linux。
下面是一个样例展示：

目次

一、说明
二、安装Docker
三、安装和设置Ollama
四、安装和设置Open-WebUI
五、Playground
六、Ollama和Dify结合，打造本地模子+智能体
七、总结
一、说明

本文目前只先容Macos的摆设教程，因为重要用到docker，其他体系摆设利用雷同。
1.1 Ollama先容

Ollama是一个开源框架，专为在本地机器上便捷摆设和运行大型语言模子（LLM）而计划。以下是关于Ollama的具体先容：
1.1.1 重要特点

• 
  
  • 简化摆设：Ollama旨在简化在Docker容器中摆设LLM的过程，使得非专业用户也能方便地管理和运行这些复杂的模子。
    
  
  
• 
  
  • 轻量级与可扩展：作为轻量级框架，Ollama保持了较小的资源占用，同时具备精良的可扩展性，允许用户根据必要调整设置以适应差别规模的项目和硬件条件。
    
  
  
• 
  
  • API支持：提供了一个简洁的API，使得开发者能够轻松创建、运行和管理大型语言模子实例，降低了与模子交互的技术门槛。
    
  
  
• 
  
  • 预构建模子库：包含一系列预先练习好的大型语言模子，用户可以直接选用这些模子应用于自己的应用步伐，无需从头练习或自行寻找模子源。
    
  
  
• 
  
  • 跨平台支持：提供针对macOS、Windows（预览版）、Linux以及Docker的安装指南，确保用户能在多种利用体系环境下顺遂摆设和使用Ollama。
    
  
  

1.1.2 使用场景

• 
  
  • 聊天机器人：利用Ollama摆设的LLM，可以创建具有智能对话功能的聊天机器人。
    
  
  
• 
  
  • 文本生成：可以用于生成各种文本内容，如消息文章、博客文章、诗歌等。
    
  
  
• 
  
  • 问答体系：能够回答用户提出的各种题目，实用于多种问答场景。
    
  
  
• 
  
  • 代码生成：可以生成多种编程语言的代码，如Python、JavaScript等。
    
  
  

1.2 Open-WebUI先容

Open WebUI（前身为Ollama WebUI）是一个专为大型语言模子（LLM）计划的可扩展、功能丰富且用户友好的自托管Web管理工具，旨在为用户提供直观、高效的大模子交互体验。以下是对Open WebUI的具体先容：
1.2.1 重要特点

• 
  
  • 离线运行：Open WebUI计划用于完全离线运行，无需依靠外部服务器或网络连接，进步了数据的安全性和隐私保护。
    
  
  
• 
  
  • 多模子支持：支持各种LLM运行器，包罗Ollama和兼容OpenAI的API，用户可以根据必要轻松集成和管理差别的大型语言模子。
    
  
  
• 
  
  • 直观界面：聊天界面灵感泉源于ChatGPT，确保了用户友好的体验。同时，提供相应式计划，在桌面和移动设备上都能享受无缝的体验。
    
  
  
• 
  
  • 轻松设置：支持使用Docker或Kubernetes（kubectl、kustomize或helm）无缝安装，简化了摆设和设置过程。
    
  
  

1.2.2 应用场景

Open WebUI实用于多种场景，包罗但不限于：

• 
  
  • 聊天机器人：利用Open WebUI摆设的LLM，可以创建具有智能对话功能的聊天机器人，用于客户服务、娱乐互动等范畴。
    
  
  
• 
  
  • 文本生成：可以用于生成各种文本内容，如消息文章、博客文章、诗歌等，满足内容创作的需求。
    
  
  
• 
  
  • 问答体系：能够回答用户提出的各种题目，实用于教育、咨询、医疗等多个范畴。
    
  
  
• 
  
  • 代码生成：可以生成多种编程语言的代码，如Python、JavaScript等，辅助开发者进行代码编写和调试。
    
  
  

二、安装Docker

Docker直接在官网安装Docker Desktop就行，根据自己的利用体系下载对应的安装包。各人肯定要留意Docker的网址，可不要被坑了。

三、安装和设置Ollama

3.1 安装Ollama

同样，ollama
也提供了非常简朴的安装方式，直接在官网下载对应体系的安装包即可，同样也必要留意网址，不要被坑了。

安装完成之后，在命令行界面执行下面的命令

1. ollama

复制代码

假如出现下面的提示，则说明安装成功：

3.2 下载多模态大模子

可以在ollama
官网找到非常多的大模子，然后根据自己的显卡（MacOS M芯片是内存）大小选择对应的模子，根据履历12G显存可以运行大概7B的模子。ollama
的模子库包含了热门的llama3.2、qwen2.5、gemma2等模子，都非常良好。

由于本文重要是先容在本地摆设多模态大模子，因此重要下载llava:13b和qwen:14b-chat这两个模子，其他模子各人可以自行探索，在命令行执行下面的命令进行下载：

1. # 下载llava:13b模子   ollama
2. pull llava:13b   # 下载qwen:14b-chat   ollama
3. pull qwen:14b-chat

复制代码

下载完成后，提示如下：

3.3 ollama
开启远程访问

3.3.1 windows设置

在「电脑」->「属性」->「高级体系设置」->「环境变量」中，添加一行纪录：
变量：OLLAMA_HOST，值：0.0.0.0
3.3.2 MacOS设置

在~/.bashrc中的最后一行添加下面的环境变量

1. export OLLAMA_HOST=0.0.0.0

复制代码

然后执行，下面的命令使环境变量在当前shell生效

1. source ~/.bashrc

复制代码

3.3.3 重启ollama


重启ollama
使得刚才设置的环境变量生效。
四、安装和设置OpenWebUI

下面先容一下如何安装和设置Open-WebUI
4.1 安装Open-WebUI

在命令行界面执行下面的命令，安装和启动open-webui：

1. docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

复制代码

拉取镜像并启动容器完成之后，命令行界面如下：

4.2 登录Open-WebUI

在欣赏器输入：http://127.0.0.1:3000，进入到Open-WebUI首页。首先注册一下账号暗码：

注册完成并登录，进入到首页：

4.3 设置大模子

点击右上角的头像，选择「设置」，在弹出的窗口中选择「界面」，在「默认模子」中选择刚才下载的llava:13b模子：

五、Playground

接下来，让我们探索一下Open-WebUI的功能。
5.1 多模态问答

在首页，选择一张图片，并进行提问，可以看到大模子能够准确的识别出图片的内容和含义，并自动进行总结，同时还精准的识别除了我画的红色框：

5.2 知识库问答

在知识库页面上传一个文档：

然后在大模子首页的输入框里，按#选择知识库，并输入题目Prompt，回车之后，open-webui会先在知识库中检索相关的信息，并结合题目Prompt一起送入大模子。

5.3 联网搜刮

Open-WebUI支持联网搜刮的功能，这里可以让Open-WebUI连接我们之前摆设的SearXNG搜刮引擎，可以参考我往期的这篇文章《在NAS上打造私家搜刮引擎，开源，无广告，实现个人私隐全方位保护！多引擎效果整合！》
在「设置」界面，选择「联网搜刮」，输入我们摆设好的SearXNG搜刮引擎的所在：

六、Ollama和Dify结合，打造本地模子+智能体

ollama
也可以和Dify进行结合，使用本地大模子来构建智能体，Dify的摆设可以参考我往期的文章《群晖NAS+Dify：AI原生应用摆设教程，解锁大模子智能与工作流新地步》
进入到Dify首页，点击右上角的头像，选择「设置」：

在「模子供应商」选择Ollama

在弹出的界面中：

• 模子名称：填写用ollama
  list命令列出来的模子名
  
• 模子基础URL：http://host.docker.internal:11434
  

点击生存即可。

尝试用Ollama搭建一个智能体，并将模子设置为刚才的ollama
模子：

七、总结

本文重要先容了如何在本地安装Ollama、Open-WebUI，并先容了Open-WebUI、Dify结合Ollama的一些玩法，另有更多高阶功能等候你去探索。
如何体系的去学习大模子LLM ？

大模子时代，火爆出圈的LLM大模子让步伐员们开始重新评估自己的本事。 “AI会代替那些行业？”“谁的饭碗又将不保了？”等题目热议不停。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也连续进场！超高年薪，挖掘AI大模子人才！ 如今大厂老板们，也更倾向于会AI的人，普通步伐员，另有应对的机会吗？
与其焦急……

不如成为「掌握AI工具的技术人」，究竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。以是现在小白入门就只能靠自学，学习资本和门槛很高。
针对全部自学遇到困难的同学们，我帮各人体系梳理大模子学习脉络，将这份 LLM大模子资料 分享出来：包罗LLM大模子册本、640套大模子行业报告、LLM大模子学习视频、LLM大模子学习门路、开源大模子学习教程等, ??有必要的小伙伴，可以 扫描下方二维码领取??↓↓↓
   ??CSDN大礼包??：全网最全《LLM大模子入门+进阶学习资源包》免费分享**（安全链接，放心点击）**??
  

一、LLM大模子经典册本

AI大模子已经成为了当今科技范畴的一大热点，那以下这些大模子册本就是非常不错的学习资源。

二、640套LLM大模子报告合集

这套包含640份报告的合集，涵盖了大模子的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，照旧对AI大模子感爱好的爱好者，这套报告合集都将为您提供名贵的信息和启示。(险些涵盖全部行业)

三、LLM大模子系列视频教程

四、LLM大模子开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模子学习门路 ↓

阶段1：AI大模子时代的基础明确

• 目标：了解AI大模子的基本概念、发展进程和焦点原理。
  
• 内容：
  
  
  
  • L1.1 人工智能简述与大模子起源
    
  • L1.2 大模子与通用人工智能
    
  • L1.3 GPT模子的发展进程
    
  • L1.4 模子工程
    
  • L1.4.1 知识大模子
    
  • L1.4.2 生产大模子
    
  • L1.4.3 模子工程方法论
    
  • L1.4.4 模子工程实践
    
  • L1.5 GPT应用案例
    
  
  

阶段2：AI大模子API应用开发工程

• 目标：掌握AI大模子API的使用和开发，以及相关的编程技能。
  
• 内容：
  
  
  
  • L2.1 API接口
    
  • L2.1.1 OpenAI API接口
    
  • L2.1.2 Python接口接入
    
  • L2.1.3 BOT工具类框架
    
  • L2.1.4 代码示例
    
  • L2.2 Prompt框架
    
  • L2.3 流水线工程
    
  • L2.4 总结与预测
    
  
  

阶段3：AI大模子应用架构实践

• 目标：深入明确AI大模子的应用架构，并能够进行私有化摆设。
  
• 内容：
  
  
  
  • L3.1 Agent模子框架
    
  • L3.2 MetaGPT
    
  • L3.3 ChatGLM
    
  • L3.4 LLAMA
    
  • L3.5 其他大模子先容
    
  
  

阶段4：AI大模子私有化摆设

• 目标：掌握多种AI大模子的私有化摆设，包罗多模态和特定范畴模子。
  
• 内容：
  
  
  
  • L4.1 模子私有化摆设概述
    
  • L4.2 模子私有化摆设的关键技术
    
  • L4.3 模子私有化摆设的实行步骤
    
  • L4.4 模子私有化摆设的应用场景
    
  
  

这份 LLM大模子资料 包罗LLM大模子册本、640套大模子行业报告、LLM大模子学习视频、LLM大模子学习门路、开源大模子学习教程等, ??有必要的小伙伴，可以 扫描下方二维码领取??↓↓↓
   ??CSDN大礼包??：全网最全《LLM大模子入门+进阶学习资源包》免费分享**（安全链接，放心点击）**??
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4