Llama 3.1 当地电脑部署 Linux体系 【轻松简易】
本文分享在自己的当地电脑部署 llama3.1，而且轻松简易，快速上手。这里借助Ollama工具，在Linux体系中进行大模型部署~
Llama3.1，有三个版本：8B、70B、405B
https://i-blog.csdnimg.cn/direct/1bf55b8114564e199e7876fc279510af.png
Llama 3.1 405B 是第一个公开可用的模型，在知识、可操纵性、数学、工具使用和多语言翻译等最先辈的本领方面可与顶级 AI 模型相媲美。
8B 和 70B 模型的升级版本支持多种语言，上下文长度明显增长至 128K，工具使用先辈，推理本领也更强。
这使得 Meta 的最新模型可以或许支持高级用例，例如长篇文本摘要、多语言对话署理和编码助手。
https://i-blog.csdnimg.cn/direct/819ec0a51cd24211b9bd746edcbfc641.png
Meta 还对其许可证进行了修改，允许开发人员使用 Llama 模型（包括 405B 模型）的输出来改进其他模型。
https://i-blog.csdnimg.cn/direct/1c635c6af3764becbe340afc9f3a0d68.png
1、安装Ollama
来到官网地点：Download Ollama on macOS
https://i-blog.csdnimg.cn/direct/65965f905753429284861ce3674907ec.png
执行命令来安装ollama：curl -fsSL https://ollama.com/install.sh | sh
安装位置默认是在 /usr/local/lib/ollama
https://i-blog.csdnimg.cn/direct/be68b22c611647879a1adb3113b68693.png
恭喜Ollama安装成功啦~
启动Ollama（）：ollama serve
然后可以查询一下版本（可选）：ollama -v
大概看一下ollama命令有那些参数（可选）：ollama
https://i-blog.csdnimg.cn/direct/8022b1a7555f4293bb4d0c0cbe4707c7.png
2、加载和使用Llama3.1
来到Ollama的模型库 https://ollama.com/library/llama3.1
Llama3.1，有三个版本：8B、70B、405B
https://i-blog.csdnimg.cn/direct/3ce7d444418e40139b82e89e1423c8a7.png
这里可以先选择小的试一试，比如8b，
输入命令：ollama run llama3.1:8b
https://i-blog.csdnimg.cn/direct/e075411a93414ac5a8a53572713e3654.png
这里建议能科学上网，否则可能必要期待很久很久~
https://i-blog.csdnimg.cn/direct/8dd057f669bc45ab811d049227dc9348.png
成功加载llama3.1:8b啦，能和它聊天交流～
如果想退出聊天，按下Ctrl + d
3、安装chatbox，改善聊天界面
如果使用命令进行聊天，感觉不太舒服，而且代码也不方便表示
这时我们使用chatbox工具，然后加载DeepSeek-R1模型，这样可以用一个漂亮的可视化界面聊天啦
chatbox官网地点：Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载
https://i-blog.csdnimg.cn/direct/a974497d687949339cd93b9fa838da6f.png
点击下载完成后，能看到Chatbox-1.9.8-x86_64.AppImage
我们必要给它添加可运行权限：
sudo chmod a+x Chatbox-1.9.8-x86_64.AppImage
然后双击运行，就能打开它啦～
然后打开Chatbox，进行编辑设置
https://i-blog.csdnimg.cn/direct/5d3010bbb23e4d6e863d90e3532048c8.png
选择“OLLAMA API”，然后选择模型“llama3.1:8b”，其他设置默认就好啦
https://i-blog.csdnimg.cn/direct/94287b0c11c44eb0b00ee08b3bbf9f4a.png
开启聊天啦
https://i-blog.csdnimg.cn/direct/f6037b4130b24d84b798a226a0100892.png
4、尝试不同版本的Llama
上面是llama3.1:8b的版本，用起来很流畅，于是尝试更大参数目的版本（70b、405b等）
对应的命令：
ollama run llama3.1:70b
ollama run llama3.1:405b
相关文章分享：
DeepSeek-R1 当地电脑部署 Windows体系 【轻松简易】_windows部署 deepseek r1-CSDN博客
DeepSeek-R1 当地电脑部署 Linux体系 【轻松简易】_14900kflinux-CSDN博客
分享完成~
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]