7个用于运行LLM的最佳开源WebUI

无论是盼望将AI大模型集成到业务流程中，照旧寻求企业客户服务自动化，亦大概是盼望创建一个强盛的个人学习工具。可能都需要思量数据安全、灵活度以及更具有可控性的利用和开辟基础。值得思量的一个方案是：将大模型（LLM）私有化并且创建一个好用的LLM WebUI系统。
1.Open WebUI（Ollama WebUI）

https://github.com/open-webui/open-webui
Star：45.7K
开辟语言：Python、TypeScript\Svelte

Open WebUI是一个可扩展、功能丰富且用户友爱的WebUI，旨在完全离线操作。它支持包括Ollama和OpenAI在内的各种LLM运行容器大概API。

产物特点：

• 直观的界面：受ChatGPT启发的用户友爱型聊天
  
• 相应式设计：在桌面和移动的上实现流畅的性能
  
• 轻松安装：利用Docker/Kubernetes轻松安装
  
• 主题定制：个性化与多个主题
  
• 高亮：加强代码的可读性
  
• Markdown LaTeX支持：全面的格式选项
  
• 本地RAG集成：利用#下令访问聊天文档
  
• RAG嵌入模型支持：选择嵌入模型（Ollama/OpenAI）
  
• Web浏览：利用#下令集成网站
  
• 提示预设：利用/下令快速访问
  
• RLHF解释：人工反馈的速率消息
  
• 会话标志：对聊天举行分类，以便于参考
  
• 模型管理：下载、删除和更新模型
  
• GGUF文件上传：从GGUF文件创建Ollama模型
  
• 多模型支持：切换模型以获得差异的相应
  
• 多模式支持：包括图像交互
  
• 模型文件生成器：自定义角色和署理
  
• 多模型对话：同时利用多个模型
  
• 协作聊天：利用@ command分组模型对话
  
• 本地聊天共享：在用户之间共享聊天链接
  
• Regeneration聊天汗青：访问全部过去的互动
  
• 存档导入/导出聊天：构造和传输聊天数据
  
• 语音输入：自动发送语音输入
  
• 可配置的TTS端点：自定义文本到语音
  
• 高级参数控制：调节温度，系统提示
  
• 映像生成集成：本地API和DALL-E选项
  
• OpenAI API支持多种API：灵活集成
  
• API密钥生成：简化OpenAI库利用
  
• 外部Ollama服务器连接：连接远程实例
  
• Ollama负载均衡：分发哀求以提高可靠性
  
• 多用户管理：用于用户监督的管理面板
  
• Webhook集成：新注册的实时关照
  
• 模型白名单：用户的受控访问
  
• 可信电子邮件身份验证：加强的安全层
  
• RBAC：基于角色的受限权限访问
  
• 后端反向署理：安全的后端通信
  
• 多语言支持：i18n国际化
  
• 持续更新：定期的新功能和改进
  

2.Text Generation Webui

https://github.com/oobabooga/text-generation-webui
Star：40.5K
开辟语言：Python

产物特性：

• 在一个UI以及API中支持多个文本生成的后端，包括：Transformers、llama.cpp、ExLlamaV2、TensorRT-LLM、AutoGPTQ、AutoAWQ、HQQ、 AQLMare等
  
• 兼容OpenAI的API。
  
• 利用Jinja2模板自动提示格式化。
  
• 三种聊天模式：instruct、chat-instruct、chat，其中chat-instruct有自动提示模板。
  
• 可在“聊天记载”菜单之间的对话快速切换。
  
• 在默认、笔记本选项卡中生成自由格式的文本，而不限于聊天回合。
  
• 拥有多个采样参数和生成选项，用于支持复杂的文本生成控制。
  
• 在UI中轻松切换差异型号，无需重新启动。
  
• 简单的LoRA微调工具。
  
• 安装在一个独立的installer_files目录中，不会影响系统环境。
  
• 扩展支持，提供许多内置的大概用户贡献的扩展。
  

3.Anything LLM

https://github.com/Mintplex-Labs/anything-llm
Star：26.5K
开辟语言：JavaScript

AnythingLLM是一个多功能的全栈AI应用步伐，可以在与大型语言模型（LLM）聊天期间引用自己的文档或内容作为上下文数据。它专为易用性而设计，提供了一个高度可配置的多用户环境。用户可以选择集成贸易的大概开源的LLM，选择向量数据库，并管理访问权限。
该应用步伐将文档构造到“工作区”中，这些工作区是容器化的单元，可以在差异的线程之间保持上下文的隔离。
工作区可以共享文档，但也可以或许为一些重点对话维护隔离的上下文。AnythingLLM可运行在Mac、Windows大概Linux桌面系统上，支持本地或远程执行，使其成为构建自定义、私人ChatGPT的强盛工具。
产物特性

• 支持AI Agent定义
  
• 支持多种模型（包括封闭和开源LLM！）
  
• 支持多用户实例和Docker版本
  
• 可在工作空间内安装署理（浏览网页、运行代码等）
  
• 提供适用于嵌入网站的聊天组件
  
• 支持多种文档范例（PDF，TXT，DOCX等）
  
• 简单的聊天用户界面、拖放功能和明确的利用指南。
  
• 支持100%云部署。
  
• 可以与全部流行的闭源和开源LLM提供商对接。
  
• 与其他聊天界面相比，可以用于管理非常大的文档。
  
• 提供用于自定义集成的API
  

4.LibreChat

https://github.com/danny-avila/LibreChat
Star：18.9K
开辟语言：TypeScript、JavaScript

LibreChat可以作为ChatGPT的私人替代品，在您自己的服务器上运行。
产物特性

• 支持与ChatGPT匹配的UI，包括Dark模式、Streaming和最新更新
  
• 智能选型：Anthropic（Claude），AWS Bedrock，OpenAI，Azure OpenAI，BingAI，ChatGPT，Google Vertex AI，插件，助手API（包括Azure助手）
  
• 两者兼容远程和本地AI服务：Groq、Ollama、Cohere、Mistral AI、Apple MLX、koboldcpp、OpenRouter、together.ai、Perplexity、ShuttleAI等
  
• 生成式UI，代码工件：在聊天中创建React、HTML代码和Mermaid图表
  
• 创建、保存和共享自定义预设
  
• 在AI端点和预设之间切换，聊天中
  
• 利用对话分支编辑、重新提交和继承消息
  
• 用于高级上下文控制的会话
  
• 多模式聊天：
  
• 可通过OpenAI Assistant API️
  
• 非OpenAI署理在积极开辟中
  
• 利用Claude 3、GPT-4（包括gpt-4o和gpt-4o-mini）和Gemini Vision软件上传和分析图像
  
• 利用自定义端点，OpenAI，Azure，Anthropic，Google与文件聊天。