【10分钟本地部署大语言模型】借助1Panel、MaxKb、Ollama快速部署大语言模 ...

前言：

本文介绍一种快速在Linux服务器（windows使用wsl也可以）上部署大语言模型（含知识库）的方式。
焦点内容如下：

• 1Panel： 开源的Linux 服务器运维管理面板，通过该面板安装ollama和MaxKB
  
• ollama：开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型
  
• MaxKB：基于大语言模型和 RAG 的开源知识库加粗样式问答体系，此组件也可用于页面的方式加载ollama
  整个安装利用极其简朴丝滑，网络流通的环境下，十分钟即可完成，下面简要介绍详细利用：
  

一、安装1Panel

注意：安装过程中会表现账号暗码，这个要生存下来
参考该文档即可，约3分钟
https://1panel.cn/docs/installation/package_installation/
二、安装ollama、maxkb

2.1 安装

登录1Pannel，好比我的地点是：http://127.0.0.1:42640/
点击应用商店，并搜索安装ollama、maxkb
注意：

• 这个时间，你大概会遇到网络连接问题，只需要配置镜像加快即可，配置内容为https://docker.1panel.live，如下下图：
  
• 安装的时间，注意端口不要冲突
  
  
  
  
  
  
  至此，完成ollama、maxkb的安装（maxkb默认的账号暗码 admin/MaxKB@123..）
  
  
  
  

2.2 验证

可分别点击服务端口，举行访问。其中，ollama访问的界面如下：

三、ollama加载大模型

3.1 进入ollama容器

进入服务器，查察docker历程，docker ps

3.2 加载大模型

进入ollama容器，并下载（加载）大模型docker exec -it 0abdc5ce45ae /bin/bash
进入ollama官网，搜索你所需要的大模型，好比这里我用到了qwen2.5 3B参数的模型，复制ollama run qwen2.5:3b下令，并在容器中运行即可。

出现success即可，便可以在终端举行对话：

四、MaxKB集成ollama的大模型

4.1 添加模型

登录MaxKB，体系管理 - 模型设置 - 添加模型

按照如下填写：

• 底子模型：要和你的容器中ollama的名字相同，可通过ollama list查察
  
• 
  
  
• 域名：是你的ollama的域名
  
• API Key：随便填写即可，我写的12345
  

4.2 创建应用

选择ai模型，生存即可

4.3 演示结果

在应用界面，点击该按钮，就能出险熟悉的对话框了

五、知识库的创建与集成

可参考：https://maxkb.cn/docs/quick_start/
5.1 创建知识库

5.2 关联知识库

在已创建的应用中关联知识库即可。

---

参考资料：
https://1panel.cn/docs/
https://maxkb.cn/docs/

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。