本地安装Ollama+WebUI
B站教程地点：https://www.bilibili.com/video/BV1Kz421h7Jk/?spm_id_from=333.337.search-card.all.click&vd_source=42b07826977d09765ec11b9fa06715e5
一、下载Ollama
https://ollama.com/download 支持mac、linux、windows
选择在ubuntu下安装
- odoo@odoo-pc:~$ curl -fsSL https://ollama.com/install.sh | sh
- >>> Installing ollama to /usr/local
- [sudo] odoo 的密码：
- >>> Downloading Linux amd64 bundle
- ######################################################################## 100.0%######################################################################### 100.0%
- >>> Creating ollama user...
- >>> Adding ollama user to render group...
- >>> Adding ollama user to video group...
- >>> Adding current user to ollama group...
- >>> Creating ollama systemd service...
- >>> Enabling and starting ollama service...
- Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
- >>> The Ollama API is now available at 127.0.0.1:11434.
- >>> Install complete. Run "ollama" from the command line.
- WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
- 从上面的安装过程发现两点：
- 1、api的端口号是11434
- 2、没有检测到显卡，Ollama运行在cpu模式下
- odoo@odoo-pc:~$ ollama run llama3
- pulling manifest
- pulling 6a0746a1ec1a... 100% ▕████████████████▏ 4.7 GB
- pulling 4fa551d4f938... 100% ▕████████████████▏ 12 KB
- pulling 8ab4849b038c... 100% ▕████████████████▏ 254 B
- pulling 577073ffcc6c... 100% ▕████████████████▏ 110 B
- pulling 3f8eb4da87fa... 100% ▕████████████████▏ 485 B
- verifying sha256 digest
- writing manifest
- success
- >>> Send a message (/? for help)
二、安装WebUI
https://docs.openwebui.com
因为我的机器没有GPU，以是找了一个不需要GPU命令举行安装：
- For CPU Only: If you're not using a GPU, use this command instead:
- docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
- odoo@odoo-pc:~$ sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
- [sudo] odoo 的密码：
- Unable to find image 'ghcr.io/open-webui/open-webui:ollama' locally
- ollama: Pulling from open-webui/open-webui
- a2318d6c47ec: Pull complete
- 334af29dc78e: Pull complete
- d534b3df1e9e: Pull complete
- 95b5b248c442: Pull complete
- 98d167576f7c: Pull complete
- ac786ed3fe21: Pull complete
- 4f4fb700ef54: Pull complete
- 0b3cbd1796a0: Pull complete
- 08dcfffb691a: Pull complete
- 290e855a01d4: Pull complete
- da884a0397a7: Pull complete
- 46fe1a8da679: Pull complete
- 6497c5d13491: Pull complete
- 2e2171744e6b: Pull complete
- 8558874c3ff3: Pull complete
- 15f64213e6de: Pull complete
- Digest: sha256:b70396e243682d7e93fc426b5aa6ade41c2240e5559aa00301dbdcf8e520235b
- Status: Downloaded newer image for ghcr.io/open-webui/open-webui:ollama
- ba2b5958578f44030936768b324f451ecce00865047fc53e158ce84c616e91e1
http://127.0.0.1:3000/
注册一个账号，账号会保存在本地而不是云端，第一个注册的账号会成为管理员。
进入界面后，选择左下角的头像进入设置菜单，通用里面可用选择语言，默认会跟操作体系的语言保持同等。
选择管理员设置：
会出现模型的设置。
注意： Ollama是一个管理平台，它可用管理很多模型，像开源的llama3， chatgpt等
从ollama.com选取一个模型，然后输入模型的名称，就可以举行下载。下载速度还是比较快的。
可用多安装几个模型，获取更多元化的回答。
注册了一个账号：
fatux 156277468@qq.com 暗码是最复杂的
三、使用技巧
1、模型
可用安装别人练习好的agent
2、提示词
3、指定检索文件
在让大模型回答标题之前可用指定文件，不过这样有个缺点，大模型需要经过检索和回答两个步骤，可能需要的时间会变长。
四、微调模型
让AI将特定范畴的知识，内化整合成模型的一部分，而这种让语言模型在原有知识的基础上举行额外练习的过程被称为模型微调。fine-tuning
要微调模型，我们要准备一些问答的范例帮忙AI举行学习，此中一种常见的格式叫Json
格式类似于QA，有问有答
可用通过chatgpt转换成JSON格式的文本。
https://unsloth.ai/ 练习和微调语言模型的工具
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
