Ollama + Openwebui 本地部署大型模型与交互式可视化聊天
Ollama简介Ollama是一个创新的平台，它允许用户在本地启动并运行大型语言模型。它提供了一个简单易用的内容天生接口，雷同于OpenAI，但无需开发经验即可直接与模型进行交互。Ollama支持热切换模型，为用户提供了机动性和多样性。
https://img-blog.csdnimg.cn/img_convert/d6f46daa6aede157a4c8f287b7001fc1.png
安装Ollama
要安装Ollama，请访问官方网站的下载页面：Ollama下载页面。在这里，你可以根据你的操纵系统选择合适的版本进行下载，现在，Ollama支持macOS 11 Big Sur或更高版本。
https://img-blog.csdnimg.cn/img_convert/9b5e15a475ca269f26338ac95902dac2.png
macOS用户
对于macOS用户，可以直接点击下载链接获取Ollama的压缩包：Download for macOS。
Windows用户
对于Windows用户，可以参照上述链接中的步骤进行安装，安装过程中，你可以通过注册来接收新更新的关照。
利用Ollama
安装完成后，你可以通过命令行查看Ollama的可用命令。比方，在Windows的PowerShell中，输入ollama即可查看帮助信息和可用命令。
PS C:\Users\Admin> ollama
Usage:
ollama
ollama
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama --help" for more information about a command.
PS C:\Users\Admin>
下载和利用大型模型
Ollama的模型库提供了多种大型语言模型供用户选择。你可以通过访问Ollama模型库来找到并下载你需要的模型。
https://img-blog.csdnimg.cn/img_convert/48d21c09510b0cf2101e7f92cc909b84.png
https://img-blog.csdnimg.cn/img_convert/bbf0ed56823b407c9dac780c8a71c1df.png
查看已安装模型
安装模型后，利用ollama list命令可以查看已安装的模型列表。
PS C:\Users\Admin> ollama list
NAME ID SIZE MODIFIED
gemma:2b b50d6c999e59 1.7 GBAbout an hour ago
llama2:latest 78e26419b446 3.8 GB9 hours ago
qwen:latest d53d04290064 2.3 GB8 hours ago
PS C:\Users\Admin>
运行模型
通过ollama run命令，你可以运行特定的模型。比方，ollama run qwen将启动qwen模型。
https://img-blog.csdnimg.cn/img_convert/8af5efc526e1dd082ebd063e8cee81e1.png
OpenWebUI简介
OpenWebUI是一个可扩展、功能丰富且用户友爱的自托管WebUI，它支持完全离线操纵，并兼容Ollama和OpenAI的API。这为用户提供了一个可视化的界面，使得与大型语言模型的交互更加直观和便捷。
https://img-blog.csdnimg.cn/img_convert/47c2b3e555ea7b18253338578a2a8d2c.png
安装 Openwebui
[*]如果您的计算机上有 Ollama，请利用以下命令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
[*]如果 Ollama 位于不同的服务器上，请利用以下命令：
[*]要毗连到另一台服务器上的 Ollama，请将 更改OLLAMA_BASE_URL为服务器的 URL：
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
[*]安装完成后，您可以通过http://localhost:3000 访问OpenWebUI
https://img-blog.csdnimg.cn/img_convert/58934472812ef4b87336fde0f3513151.png
这个时候会发现【Select a model】可以选择我们刚刚下载好的模型：
https://img-blog.csdnimg.cn/img_convert/5ae9c7bab0c2b7ab7a81db74a68ce9f7.png
这样我们就有了一个雷同GPT的可视化界面
https://img-blog.csdnimg.cn/img_convert/26281fa9ab0907079b83faeba65f71f1.png
并且他还可以一次性参加多个模型，一起对话对比利用：
https://img-blog.csdnimg.cn/img_convert/c39f709d915b8c466bd6c89054983f3d.png
利用 Modelfiles
可以自行按要求创建，也可去官网社区快速设置其他用户创建好的Modelfiles。
https://img-blog.csdnimg.cn/img_convert/4e5d2f3a1622fa352eafb78f9135b6d1.png
https://img-blog.csdnimg.cn/img_convert/123d0aca3be2cd77e42f9a2f14fa60c5.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]