Ollama +Docker+OpenWebUI

1 Ollama

1.1 下载Ollama

https://ollama.com/download
1.2 运行llama3

1. $ ollama run llama3
2. pulling manifest
3. pulling 00e1317cbf74... 100% ▕████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB
4. pulling 4fa551d4f938... 100% ▕████████████████████████████████████████████████████████████████████████████████████▏  12 KB
5. pulling 8ab4849b038c... 100% ▕████████████████████████████████████████████████████████████████████████████████████▏  254 B
6. pulling 577073ffcc6c... 100% ▕████████████████████████████████████████████████████████████████████████████████████▏  110 B
7. pulling ad1518640c43... 100% ▕████████████████████████████████████████████████████████████████████████████████████▏  483 B
8. verifying sha256 digest
9. writing manifest
10. removing any unused layers
11. success

复制代码

如有需要运行其他大语言模子，访问 https://ollama.com/library
例如要更换为 gemma https://ollama.com/library/gemma ，将运行下令更换为 ollama run gemma。
如果要退出，使用以下下令 /bye。
2 Docker

https://www.docker.com/products/docker-desktop/
下载安装Docker，注册一个Docker账号。
3 WebUI

https://github.com/open-webui/open-webui

1. # If Ollama is on your computer, use this command:
2. $ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

复制代码

4 查看Containers

5 本地访问

• http://localhost:3000/
  
• 创建账号
  
• Select a model -> llama3:latest
  
  
  
  
  
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。