如安在mac电脑上快速搭建一个大模型？并跟它聊天

目录
一、安装ollama
1.ollama是什么？
2.怎么安装？
二、下载并运行大模型
1.ollama支持哪些大模型？
2.下载并运行qwen大模型
3.使用REST API调用大模型
三、安装web ui
四、运行效果

---

一、安装ollama

1.ollama是什么？

        ollama是一个可以帮助用户快速在本地运行开源大模型的开源平台，可以运行如 Llama 3, Phi 3, Mistral, Gemma等其他大模型。官网地址：https://ollama.com/
2.怎么安装？

        进入官网点击download选择macOS版下载，下载后会有一个Ollama-darwin.zip压缩包，解压并安装，安装完之后桌面有个Ollama.app，点击打开ollama就运行起来了。

二、下载并运行大模型

1.ollama支持哪些大模型？

        ollama官网右上角有个models点击进入里面显示目前支持的一些大模型，也可以举行搜索本身想找的模型。比如Llama3、Llama2、qwen等等。

2.下载并运行qwen大模型

        这里思量使用中文，所以选择qwen模型。qwen是阿里云基于transformer的一系列大型语言模型，在大量数据上举行预训练，包括网络文本、册本、代码等。参数范围从0.5B到110B。
        在ollama上搜索qwen根据本身电脑设置选择相应参数，这里选择qwen:7b，大概4.5G,运行此模型mac电脑内存至少8G。复制右边ollama运行模型命令：

1. ollama run qwen:7b

复制代码

        ollama运行之后，打开终端terminal输入以上命令，假如已经下载过该模型，ollama会主动运行，假如没有下载，ollama会先下载然后运行该模型，等待一段时间模型下载并运行乐成，页面显示如下：

这时候可以在终端与它聊天对话

3.使用REST API调用大模型

        Ollama有一个用于运行和管理模型的REST API。具体可参考：https://github.com/ollama/ollama/blob/main/docs/api.md，这里使用postman演示一下。

1. curl http://localhost:11434/api/generate -d '{
2.     "model": "qwen:7b",
3.     "prompt": "为什么光的速度比雷声快?",
4.     "stream": false
5. }'

复制代码

三、安装web ui

        虽然上面已经可以跟本地搭建的大模型聊天，但交互还不太友好。别急，下面先容一个开源聊天UI——chatbot-ollama。github地址：https://github.com/ivanfioravanti/chatbot-ollama，摆设乐成后就可以像跟chatgpt一样页面举行聊天。如下图：

使用以下docker命令举行摆设。假如没有安装docker可点击(https://www.docker.com/products/docker-desktop/)举行安装

1. docker run -p 3000:3000 ghcr.io/ivanfioravanti/chatbot-ollama:main

复制代码

摆设乐成以后浏览器输入：http://localhost:3000 即可

四、运行效果

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。