7个用于运行LLM的最佳开源WebUI

无论是希望将AI大模型集成到业务流程中，照旧寻求企业客户服务主动化，亦或者是希望创建一个强大的个人学习工具。可能都需要思量数据安全、机动度以及更具有可控性的使用和开辟根本。值得思量的一个方案是：将大模型（LLM）私有化而且创建一个好用的LLM WebUI系统。
下面，我们推荐7个出色的开源LLM WebUI 系统。
01.Open WebUI（Ollama WebUI）
https://github.com/open-webui/open-webui
Star：45.7K
开辟语言：Python、TypeScript\Svelte

Open WebUI是一个可扩展、功能丰富且用户友爱的WebUI，旨在完全离线操作。它支持包括Ollama和OpenAI在内的各种LLM运行容器或者API。

产物特点：

• 直观的界面：受ChatGPT启发的用户友爱型聊天
  
• 响应式设计：在桌面和移动的上实现流畅的性能
  
• 轻松安装：使用Docker/Kubernetes轻松安装
  
• 主题定制：个性化与多个主题
  
• 高亮：加强代码的可读性
  
• Markdown LaTeX支持：全面的格式选项
  
• 当地RAG集成：使用#下令访问聊天文档
  
• RAG嵌入模型支持：选择嵌入模型（Ollama/OpenAI）
  
• Web浏览：使用#下令集成网站
  
• 提示预设：使用/下令快速访问
  
• RLHF注释：人工反馈的速率消息
  
• 会话标记：对聊天举行分类，以便于参考
  
• 模型管理：下载、删除和更新模型
  
• GGUF文件上传：从GGUF文件创建Ollama模型
  
• 多模型支持：切换模型以获得差别的响应
  
• 多模式支持：包括图像交互
  
• 模型文件生成器：自界说角色和代理
  
• 多模型对话：同时使用多个模型
  
• 协作聊天：使用@ command分组模型对话
  
• 当地聊天共享：在用户之间共享聊天链接
  
• Regeneration聊天历史：访问全部已往的互动
  
• 存档导入/导出聊天：组织和传输聊天数据
  
• 语音输入：主动发送语音输入
  
• 可设置的TTS端点：自界说文本到语音
  
• 高级参数控制：调治温度，系统提示
  
• 映像生成集成：当地API和DALL-E选项
  
• OpenAI API支持多种API：机动集成
  
• API密钥生成：简化OpenAI库使用
  
• 外部Ollama服务器连接：连接远程实例
  
• Ollama负载均衡：分发请求以进步可靠性
  
• 多用户管理：用于用户监督的管理面板
  
• Webhook集成：新注册的实时通知
  
• 模型白名单：用户的受控访问
  
• 可信电子邮件身份验证：加强的安全层
  
• RBAC：基于角色的受限权限访问
  
• 后端反向代理：安全的后端通讯
  
• 多语言支持：i18n国际化
  
• 持续更新：定期的新功能和改进
  

02.Text Generation Webui
https://github.com/oobabooga/text-generation-webui
Star：40.5K
开辟语言：Python

这是一个基于Gradio的Web UI，用于大语言模型的Web层。
产物特性：

• 在一个UI以及API中支持多个文本生成的后端，包括：Transformers、llama.cpp、ExLlamaV2、TensorRT-LLM、AutoGPTQ、AutoAWQ、HQQ、 AQLMare等
  
• 兼容OpenAI的API。
  
• 使用Jinja2模板主动提示格式化。
  
• 三种聊天模式：instruct、chat-instruct、chat，其中chat-instruct有主动提示模板。
  
• 可在“聊天记录”菜单之间的对话快速切换。
  
• 在默认、条记本选项卡中生成自由格式的文本，而不限于聊天回合。
  
• 拥有多个采样参数和生成选项，用于支持复杂的文本生成控制。
  
• 在UI中轻松切换差别型号，无需重新启动。
  
• 简单的LoRA微调工具。
  
• 安装在一个独立的installer_files目次中，不会影响系统环境。
  
• 扩展支持，提供许多内置的或者用户贡献的扩展。
  

03.Anything LLM
https://github.com/Mintplex-Labs/anything-llm
Star：26.5K
开辟语言：JavaScript

AnythingLLM是一个多功能的全栈AI应用程序，可以在与大型语言模型（LLM）聊天期间引用自己的文档或内容作为上下文数据。它专为易用性而设计，提供了一个高度可设置的多用户环境。用户可以选择集成商业的或者开源的LLM，选择向量数据库，并管理访问权限。
该应用程序将文档组织到“工作区”中，这些工作区是容器化的单元，可以在差别的线程之间保持上下文的隔离。
工作区可以共享文档，但也可以大概为一些重点对话维护隔离的上下文。AnythingLLM可运行在Mac、Windows或者Linux桌面系统上，支持当地或远程执行，使其成为构建自界说、私人ChatGPT的强大工具。


产物特性

• 支持AI Agent界说
  
• 支持多种模型（包括封闭和开源LLM！）
  
• 支持多用户实例和Docker版本
  
• 可在工作空间内安装代理（浏览网页、运行代码等）
  
• 提供适用于嵌入网站的聊天组件
  
• 支持多种文档类型（PDF，TXT，DOCX等）
  
• 简单的聊天用户界面、拖放功能和明白的使用指南。
  
• 支持100%云部署。
  
• 可以与全部流行的闭源和开源LLM提供商对接。
  
• 与其他聊天界面相比，可以用于管理非常大的文档。
  
• 提供用于自界说集成的API
  

04.LibreChat
https://github.com/danny-avila/LibreChat
Star：18.9K
开辟语言：TypeScript、JavaScript

LibreChat可以作为ChatGPT的私人替代品，在您自己的服务器上运行。
产物特性

• 支持与ChatGPT匹配的UI，包括Dark模式、Streaming和最新更新
  
• 智能选型：Anthropic（Claude），AWS Bedrock，OpenAI，Azure OpenAI，BingAI，ChatGPT，Google Vertex AI，插件，助手API（包括Azure助手）
  
• 两者兼容远程和当地AI服务：Groq、Ollama、Cohere、Mistral AI、Apple MLX、koboldcpp、OpenRouter、together.ai、Perplexity、ShuttleAI等
  
• 生成式UI，代码工件：在聊天中创建React、HTML代码和Mermaid图表
  
• 创建、保存和共享自界说预设
  
• 在AI端点和预设之间切换，聊天中
  
• 使用对话分支编辑、重新提交和继承消息
  
• 用于高级上下文控制的会话
  
• 多模式聊天：
  
• 可通过OpenAI Assistant API️
  
• 非OpenAI代理在积极开辟中
  
• 使用Claude 3、GPT-4（包括gpt-4o和gpt-4o-mini）和Gemini Vision软件上传和分析图像
  
• 使用自界说端点，OpenAI，Azure，Anthropic，Google与文件聊天。