Mac 安装Ollama和llama3，当地部署LobeChat和刘皇叔聊三国

Ollama安装

下载Ollama

网址：https://ollama.com/
支持macOS、Linux和Windows多个平台

Ollama常用指令和链接

1. 常用指令

1. Available Commands:
2.   serve       Start ollama
3.   create      Create a model from a Modelfile
4.   show        Show information for a model
5.   run         Run a model
6.   pull        Pull a model from a registry
7.   push        Push a model to a registry
8.   list        List models
9.   cp          Copy a model
10.   rm          Remove a model
11.   help        Help about any command
13. Flags:
14.   -h, --help      help for ollama
15.   -v, --version   Show version information

复制代码

2. 链接
Blog：https://ollama.com/blog
Docs：https://github.com/ollama/ollama/tree/main/docs
GitHub：https://github.com/ollama/ollama
模型堆栈：https://ollama.com/library
运行Ollama

以Llama 3为例

1. ollama run llama3

复制代码

自动安装latest的版本是8B 4-bit模型，信息如下：

如果是70B模型，可以参考
堆栈中Llama 3的介绍：https://ollama.com/library/llama3
运行之后，项目默认监听 11434 端口，终端查看

1. curl localhost:11434

复制代码

输出：
   Ollama is running
  运行成功，可以在终端聊天了.

API 交互Ollama

按下 Ctrl + D 可以退出终端交互，但此时模型并不会退出，仍旧可以正常通过 Api 接口交互。
具体可以参考官网api文档：https://github.com/ollama/ollama/blob/main/docs/api.md
简朴api交互例子，新打开一个终端，输入

1. curl http://localhost:11434/api/generate -d '{
2.   "model": "llama3",
3.   "prompt": "Why is the sky blue?",
4.   "stream": false
5. }'

复制代码

退出可以从电脑右上角退出

基于Llama 3角色饰演

在任意目录下建一个modelfile文件。具体信息查看官网modelfile文档：
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
modelfile文件：

1. FROM llama3
3. # set the temperature to 1 [higher is more creative, lower is more coherent]
4. PARAMETER temperature 1
6. # set the system message
7. SYSTEM """
8. You are Liu Bei from the Three Kingdoms period in China. Answer as Liu Bei, the assistant, only used Simplified Chinese.
9. """

复制代码

创建刘备的个人聊天助手，新的模型我命名为Czi

1. ollama create Czi -f ./Modelfile

复制代码

查看模型：

1. ollama ls

复制代码

运行Czi模型

1. ollama run Czi

复制代码

这样就可以啦！
接下里是当地部署LobeChat，实现网页的交互
LobeChat安装

起首安装docker

这里跳过了。。。
安装LobeChat的docker 镜像和运行

LobeChat的帮助文档与 Ollama 集成。
一行代码：

1. docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat

复制代码

可以看到LobeChat运行在当地3210端口，浏览器打开http://localhost:3210
这样就可以交互了！

默认的LobeChat没有Czi模型，我们必要添加一下～
LobeChat的帮助文档在 LobeChat 中使用 Ollama
和
在 设置 -> 语言模型 中找到 Ollama 的设置选项

设置好了，可以跟刘皇叔在LobeChat中聊天啦！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。