【10分钟本地部署大语言模型】借助1Panel、MaxKb、Ollama快速部署大语言模
前言：本文介绍一种快速在Linux服务器（windows使用wsl也可以）上部署大语言模型（含知识库）的方式。
焦点内容如下：
[*]1Panel： 开源的Linux 服务器运维管理面板，通过该面板安装ollama和MaxKB
[*]ollama：开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型
[*]MaxKB：基于大语言模型和 RAG 的开源知识库加粗样式问答体系，此组件也可用于页面的方式加载ollama
整个安装利用极其简朴丝滑，网络流通的环境下，十分钟即可完成，下面简要介绍详细利用：
一、安装1Panel
注意：安装过程中会表现账号暗码，这个要生存下来
参考该文档即可，约3分钟
https://1panel.cn/docs/installation/package_installation/
二、安装ollama、maxkb
2.1 安装
登录1Pannel，好比我的地点是：http://127.0.0.1:42640/
点击应用商店，并搜索安装ollama、maxkb
注意：
[*]这个时间，你大概会遇到网络连接问题，只需要配置镜像加快即可，配置内容为https://docker.1panel.live，如下下图：
[*]安装的时间，注意端口不要冲突
https://i-blog.csdnimg.cn/direct/ecb6f04af4f1443e8b3ac2bb6ac14aff.png
https://i-blog.csdnimg.cn/direct/59360a9f527440b5b70d44695892f06a.png
至此，完成ollama、maxkb的安装（maxkb默认的账号暗码 admin/MaxKB@123..）
https://i-blog.csdnimg.cn/direct/61b6d3ac7906431bba45d04f90b26e9d.png
2.2 验证
可分别点击服务端口，举行访问。其中，ollama访问的界面如下：
https://i-blog.csdnimg.cn/direct/a792364860084d65bca3328d7e445a47.png
三、ollama加载大模型
3.1 进入ollama容器
进入服务器，查察docker历程，docker ps
https://i-blog.csdnimg.cn/direct/b3488f1863c443a7b9a90818b399bdc0.png
3.2 加载大模型
进入ollama容器，并下载（加载）大模型docker exec -it 0abdc5ce45ae /bin/bash
进入ollama官网，搜索你所需要的大模型，好比这里我用到了qwen2.5 3B参数的模型，复制ollama run qwen2.5:3b下令，并在容器中运行即可。
https://i-blog.csdnimg.cn/direct/6ee57c450da24adc831fd0b43136c6ef.png
出现success即可，便可以在终端举行对话：
https://i-blog.csdnimg.cn/direct/cb54710d006c448484bbcd07a4844906.png
四、MaxKB集成ollama的大模型
4.1 添加模型
登录MaxKB，体系管理 - 模型设置 - 添加模型
https://i-blog.csdnimg.cn/direct/3dd4182549a344c2a5c95a4236800346.png
按照如下填写：
https://i-blog.csdnimg.cn/direct/47091517ae6f4fdcb94102ec637a35f9.png
[*]底子模型：要和你的容器中ollama的名字相同，可通过ollama list查察
[*]https://i-blog.csdnimg.cn/direct/3b6e810a0650407b87beaf6d0305940d.png
[*]域名：是你的ollama的域名
[*]API Key：随便填写即可，我写的12345
4.2 创建应用
https://i-blog.csdnimg.cn/direct/df432680f09e4ad0825023e24f1d262c.png
https://i-blog.csdnimg.cn/direct/1452c5ddb0d8454283ae2c7a948a0db6.png
选择ai模型，生存即可
https://i-blog.csdnimg.cn/direct/12e6e8271e2e4198900cca693d26e192.png
4.3 演示结果
在应用界面，点击该按钮，就能出险熟悉的对话框了
https://i-blog.csdnimg.cn/direct/582f02416a514e0d9843292310a448dd.png
https://i-blog.csdnimg.cn/direct/d0594afdd25a476b836143b07d2373b1.png
五、知识库的创建与集成
可参考：https://maxkb.cn/docs/quick_start/
5.1 创建知识库
https://i-blog.csdnimg.cn/direct/ead9e7720cd94d85b707dbf034f134b3.png
https://i-blog.csdnimg.cn/direct/238d61dda7a54c1994f6e1f6b97352aa.png
https://i-blog.csdnimg.cn/direct/864d89b9c7ed4c55b92ac38b3fb6d6f5.png
5.2 关联知识库
在已创建的应用中关联知识库即可。
https://i-blog.csdnimg.cn/direct/3d6123574ba245989b9af7500cb7635f.png
参考资料：
https://1panel.cn/docs/
https://maxkb.cn/docs/
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]