ToB企服应用市场:ToB评测及商务社交产业平台

标题: Ollama + Openwebui 本地部署大型模型与交互式可视化聊天 [打印本页]
作者: 熊熊出没    时间: 2024-6-21 12:59
标题: Ollama + Openwebui 本地部署大型模型与交互式可视化聊天
Ollama简介

Ollama是一个创新的平台，它允许用户在本地启动并运行大型语言模型。它提供了一个简单易用的内容天生接口，雷同于OpenAI，但无需开发经验即可直接与模型进行交互。Ollama支持热切换模型，为用户提供了机动性和多样性。

安装Ollama

要安装Ollama，请访问官方网站的下载页面：Ollama下载页面。在这里，你可以根据你的操纵系统选择合适的版本进行下载，现在，Ollama支持macOS 11 Big Sur或更高版本。

macOS用户

对于macOS用户，可以直接点击下载链接获取Ollama的压缩包：Download for macOS。
Windows用户

对于Windows用户，可以参照上述链接中的步骤进行安装，安装过程中，你可以通过注册来接收新更新的关照。
利用Ollama

安装完成后，你可以通过命令行查看Ollama的可用命令。比方，在Windows的PowerShell中，输入ollama即可查看帮助信息和可用命令。
  1. PS C:\Users\Admin> ollama
  2. Usage:
  3.   ollama [flags]
  4.   ollama [command]
  6. Available Commands:
  7.   serve       Start ollama
  8.   create      Create a model from a Modelfile
  9.   show        Show information for a model
  10.   run         Run a model
  11.   pull        Pull a model from a registry
  12.   push        Push a model to a registry
  13.   list        List models
  14.   cp          Copy a model
  15.   rm          Remove a model
  16.   help        Help about any command
  18. Flags:
  19.   -h, --help      help for ollama
  20.   -v, --version   Show version information
  22. Use "ollama [command] --help" for more information about a command.
  23. PS C:\Users\Admin>
复制代码
下载和利用大型模型

Ollama的模型库提供了多种大型语言模型供用户选择。你可以通过访问Ollama模型库来找到并下载你需要的模型。


查看已安装模型

安装模型后，利用ollama list命令可以查看已安装的模型列表。
  1. PS C:\Users\Admin> ollama list
  2. NAME            ID              SIZE    MODIFIED
  3. gemma:2b        b50d6c999e59    1.7 GB  About an hour ago
  4. llama2:latest   78e26419b446    3.8 GB  9 hours ago
  5. qwen:latest     d53d04290064    2.3 GB  8 hours ago
  6. PS C:\Users\Admin>
复制代码
运行模型

通过ollama run命令，你可以运行特定的模型。比方，ollama run qwen将启动qwen模型。

OpenWebUI简介

OpenWebUI是一个可扩展、功能丰富且用户友爱的自托管WebUI，它支持完全离线操纵，并兼容Ollama和OpenAI的API。这为用户提供了一个可视化的界面，使得与大型语言模型的交互更加直观和便捷。

安装 Openwebui


  1. docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
复制代码

  1. docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
复制代码


这个时候会发现【Select a model】可以选择我们刚刚下载好的模型：

这样我们就有了一个雷同GPT的可视化界面

并且他还可以一次性参加多个模型，一起对话对比利用：

利用 Modelfiles

可以自行按要求创建，也可去官网社区快速设置其他用户创建好的Modelfiles。



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4