Mac 安装Ollama和llama3，当地部署LobeChat和刘皇叔聊三国
Ollama安装下载Ollama
网址：https://ollama.com/
支持macOS、Linux和Windows多个平台
https://img-blog.csdnimg.cn/direct/b1368b36e0ec4e9795c87a5758e7a42e.png
Ollama常用指令和链接
1. 常用指令
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
2. 链接
Blog：https://ollama.com/blog
Docs：https://github.com/ollama/ollama/tree/main/docs
GitHub：https://github.com/ollama/ollama
模型堆栈：https://ollama.com/library
运行Ollama
以Llama 3为例
ollama run llama3
自动安装latest的版本是8B 4-bit模型，信息如下：
https://img-blog.csdnimg.cn/direct/9c5d2621517847ff9d5edbf760e5889a.png
如果是70B模型，可以参考
堆栈中Llama 3的介绍：https://ollama.com/library/llama3
运行之后，项目默认监听 11434 端口，终端查看
curl localhost:11434
输出：
Ollama is running
运行成功，可以在终端聊天了.
https://img-blog.csdnimg.cn/direct/351911ce960945359e39afdefeca016d.png
API 交互Ollama
按下 Ctrl + D 可以退出终端交互，但此时模型并不会退出，仍旧可以正常通过 Api 接口交互。
具体可以参考官网api文档：https://github.com/ollama/ollama/blob/main/docs/api.md
简朴api交互例子，新打开一个终端，输入
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "Why is the sky blue?",
"stream": false
}'
https://img-blog.csdnimg.cn/direct/3efdc563a2aa48bb8d51effad89f6491.png
退出可以从电脑右上角退出
https://img-blog.csdnimg.cn/direct/a939c357e74b4e0baeee6b1ec620c16a.png
基于Llama 3角色饰演
在任意目录下建一个modelfile文件。具体信息查看官网modelfile文档：
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
modelfile文件：
https://img-blog.csdnimg.cn/direct/533ec2da17f94e1685cd7ee254e0faec.png
FROM llama3
# set the temperature to 1
PARAMETER temperature 1
# set the system message
SYSTEM """
You are Liu Bei from the Three Kingdoms period in China. Answer as Liu Bei, the assistant, only used Simplified Chinese.
"""
创建刘备的个人聊天助手，新的模型我命名为Czi
ollama create Czi -f ./Modelfile
查看模型：
ollama ls
https://img-blog.csdnimg.cn/direct/ab59055d503e47a29ed64fb3ad0a0992.png
运行Czi模型
ollama run Czi
https://img-blog.csdnimg.cn/direct/c645306164184d9298c4a891c879a04b.png
这样就可以啦！
接下里是当地部署LobeChat，实现网页的交互
LobeChat安装
起首安装docker
这里跳过了。。。
安装LobeChat的docker 镜像和运行
LobeChat的帮助文档与 Ollama 集成。
一行代码：
docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat
https://img-blog.csdnimg.cn/direct/fe701b2b30b24173a2664b25c0a859f4.png
可以看到LobeChat运行在当地3210端口，浏览器打开http://localhost:3210
这样就可以交互了！
https://img-blog.csdnimg.cn/direct/7b6acc7d9b284603ad727cdc9ce8c3f8.png
默认的LobeChat没有Czi模型，我们必要添加一下～
LobeChat的帮助文档在 LobeChat 中使用 Ollama
和
在 设置 -> 语言模型 中找到 Ollama 的设置选项
https://img-blog.csdnimg.cn/direct/64b86433d4e1459e88549a50b60664a8.png
设置好了，可以跟刘皇叔在LobeChat中聊天啦！
https://img-blog.csdnimg.cn/direct/43099afc0a4a4fafa1b68c3b7f9185a2.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]