qidao123.com技术社区-IT企服评测·应用市场

标题: 【10分钟本地部署大语言模型】借助1Panel、MaxKb、Ollama快速部署大语言模 [打印本页]

作者: 王海鱼 时间: 2024-11-2 01:31
标题: 【10分钟本地部署大语言模型】借助1Panel、MaxKb、Ollama快速部署大语言模
前言：

本文介绍一种快速在Linux服务器（windows使用wsl也可以）上部署大语言模型（含知识库）的方式。
焦点内容如下：

1Panel：开源的Linux 服务器运维管理面板，通过该面板安装ollama和MaxKB
ollama：开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型
MaxKB：基于大语言模型和 RAG 的开源知识库加粗样式问答体系，此组件也可用于页面的方式加载ollama
整个安装利用极其简朴丝滑，网络流通的环境下，十分钟即可完成，下面简要介绍详细利用：

一、安装1Panel

注意：安装过程中会表现账号暗码，这个要生存下来
参考该文档即可，约3分钟
https://1panel.cn/docs/installation/package_installation/
二、安装ollama、maxkb

2.1 安装

登录1Pannel，好比我的地点是：http://127.0.0.1:42640/
点击应用商店，并搜索安装ollama、maxkb
注意：

这个时间，你大概会遇到网络连接问题，只需要配置镜像加快即可，配置内容为https://docker.1panel.live，如下下图：
安装的时间，注意端口不要冲突

至此，完成ollama、maxkb的安装（maxkb默认的账号暗码 admin/MaxKB@123..）

2.2 验证

可分别点击服务端口，举行访问。其中，ollama访问的界面如下：

三、ollama加载大模型

3.1 进入ollama容器

进入服务器，查察docker历程，docker ps

3.2 加载大模型

进入ollama容器，并下载（加载）大模型docker exec -it 0abdc5ce45ae /bin/bash
进入ollama官网，搜索你所需要的大模型，好比这里我用到了qwen2.5 3B参数的模型，复制ollama run qwen2.5:3b下令，并在容器中运行即可。