如安在mac电脑上快速搭建一个大模型？并跟它聊天
目录一、安装ollama
1.ollama是什么？
2.怎么安装？
二、下载并运行大模型
1.ollama支持哪些大模型？
2.下载并运行qwen大模型
3.使用REST API调用大模型
三、安装web ui
四、运行效果
一、安装ollama
1.ollama是什么？
ollama是一个可以帮助用户快速在本地运行开源大模型的开源平台，可以运行如 Llama 3, Phi 3, Mistral, Gemma等其他大模型。官网地址：https://ollama.com/
2.怎么安装？
进入官网点击download选择macOS版下载，下载后会有一个Ollama-darwin.zip压缩包，解压并安装，安装完之后桌面有个Ollama.app，点击打开ollama就运行起来了。
https://img-blog.csdnimg.cn/direct/147d98334d0c4d8a93014fb3fd30e884.png
https://img-blog.csdnimg.cn/direct/13ea53c12f1f411388def3d976f8d993.png
二、下载并运行大模型
1.ollama支持哪些大模型？
ollama官网右上角有个models点击进入里面显示目前支持的一些大模型，也可以举行搜索本身想找的模型。比如Llama3、Llama2、qwen等等。
https://img-blog.csdnimg.cn/direct/871508acfc9140e3a3be6f63d0984b22.png
2.下载并运行qwen大模型
这里思量使用中文，所以选择qwen模型。qwen是阿里云基于transformer的一系列大型语言模型，在大量数据上举行预训练，包括网络文本、册本、代码等。参数范围从0.5B到110B。
在ollama上搜索qwen根据本身电脑设置选择相应参数，这里选择qwen:7b，大概4.5G,运行此模型mac电脑内存至少8G。复制右边ollama运行模型命令：
ollama run qwen:7b https://img-blog.csdnimg.cn/direct/18000967af2d44968ed78886259c53f5.png
ollama运行之后，打开终端terminal输入以上命令，假如已经下载过该模型，ollama会主动运行，假如没有下载，ollama会先下载然后运行该模型，等待一段时间模型下载并运行乐成，页面显示如下：
https://img-blog.csdnimg.cn/direct/67896701296b47faae99544239c7936d.png
这时候可以在终端与它聊天对话
https://img-blog.csdnimg.cn/direct/cd04e61b01a34881ab16df476acbad0e.png
3.使用REST API调用大模型
Ollama有一个用于运行和管理模型的REST API。具体可参考：https://github.com/ollama/ollama/blob/main/docs/api.md，这里使用postman演示一下。
curl http://localhost:11434/api/generate -d '{
"model": "qwen:7b",
"prompt": "为什么光的速度比雷声快?",
"stream": false
}' https://img-blog.csdnimg.cn/direct/915f603aaa3243a29fffe36f3c99ef31.png
三、安装web ui
虽然上面已经可以跟本地搭建的大模型聊天，但交互还不太友好。别急，下面先容一个开源聊天UI——chatbot-ollama。github地址：https://github.com/ivanfioravanti/chatbot-ollama，摆设乐成后就可以像跟chatgpt一样页面举行聊天。如下图：
https://img-blog.csdnimg.cn/direct/7e7a84ff117b45ea8fdde9b863152fa4.png
使用以下docker命令举行摆设。假如没有安装docker可点击(https://www.docker.com/products/docker-desktop/)举行安装
docker run -p 3000:3000 ghcr.io/ivanfioravanti/chatbot-ollama:main 摆设乐成以后浏览器输入：http://localhost:3000 即可
四、运行效果
https://img-blog.csdnimg.cn/direct/b0fdc7131066454d9c467e46f233001f.png
https://img-blog.csdnimg.cn/direct/beb2f70bd4094b169d74951024d69ee3.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]