自己搭建专属AI：Llama大模型私有化摆设

前言

AI新时代，进步了生产力且能资助用户快速解答问题，现在用的比较多的是Openai、Claude，为了包管个人隐私数据，以是实验当地（Mac M3）搭建Llama模型进行沟通。
Gpt4all

安装比较简朴，根据 GitHub - nomic-ai/gpt4all: GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use. 下载客户端软件即可，打开是这样的：

然后选择并下载模型文件，这里以Llama为例：

下载模型文件完，选择模型文件则可以进行对话了：

也可以利用基于 nomic-embed-text嵌入模型，把文档转成向量方便语义检索和匹配。选择文档所在的目录：

然后对话中选择对应的文档即可：

假如文件太大，需要在设置适当添加token大小，太大也欠好，处理会慢且机器会卡死：

gpt4all利用起来还是比较方便的，但是有几个缺点：有些能在huggingface.co搜到的模型在gpt4all上面搜不到、退出应用后谈天记录会消散。
资助网安学习，全套资料S信免费领取：
① 网安学习成长路径头脑导图
② 60+网安经典常用工具包
③ 100+SRC分析报告
④ 150+网安攻防实战技术电子书
⑤ 最权势巨子CISSP 认证测验指南+题库
⑥ 超1800页CTF实战技巧手册
⑦ 最新网安大厂面试题合集（含答案）
⑧ APP客户端安全检测指南（安卓+IOS）
Ollama

安装也很方便，下载 https://ollama.com/download/Ollama-darwin.zip ，然后运行如下命令即可启动Llama：

1. ollama run llama3.2

复制代码

为了方便图形化利用，可以借助 GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...) 完整图形化的利用，启动也很简朴，直接利用官方仓库中的命令即可：

1. docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

复制代码

然后访问当地的3000端口即可：

open-webui的原理也比较简朴，Ollama启动后会在当地监听11434端口，open-webui也是利用这个端口来和Ollama通信完成的图形化利用。 open-webui还可以多选模型一起答复：

整体测试下来，发现Llama3.2对于文档分析差点意思，给他提供一个pdf文档，也看不出个啥来。但是上面的gpt4all，然后通过nomic-embed-text模型嵌入后好点。
总结

本文演示了通过差别手段来运行Llama模型，来到达当地利用LLM的目的。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。