ollama+open-webui，当地摆设自己的大模型

目录
一、效果预览
二、摆设ollama
1.ollama分析
2.安装流程
2.1 windows系统
2.1.1下载安装包
2.1.2验证安装效果
2.1.3设置模型文件保存所在
2.1.4拉取大模型镜像
2.2linux系统
2.2.1下载并安装ollama
2.2.2设置环境变量
2.2.3拉取模型文件
三、摆设open-webui
1.open-webui先容
2.安装流程
2.1windows
2.1.1下载源码
2.1.2用pycharm新建一个虚拟环境?编辑??
2.1.3安装nodejs依赖
2.1.4安装python依赖
2.1.5启动webui
2.2linux
2.2.1安装nodejs
2.2.2安装miniconda3
2.2.3创建python虚拟环境
2.2.4安装open-webui并启动
四、注意事项

---

一、效果预览

基于ollama和open-webui，当地摆设类似chatgpt的网页版大模型。先看看摆设效果

如果不风俗英文界面，可以设置成中文界面

二、摆设ollama

1.ollama分析

ollama的官网https://www.ollama.com/
ollama的github项目所在https://github.com/ollama/ollama
ollama，是一个大模型容器管理框架，它可以帮助用户快速在当地运行大模型，类似于docker。ollama可以运行在GPU或CPU，它会主动根据你电脑硬件，选择GPU或CPU运行。
windows只支持win10或更高的版本，官方分析如下。

ollama 支持具有 5.0+ 计算能力的 Nvidia GPU，显卡计算能力如下图所示

ollama也支持AMD，详见官方文档分析ollama/docs/gpu.md at main · ollama/ollama (github.com)[这里是图片005]https://github.com/ollama/ollama/blob/main/docs/gpu.md
ollama管理的大模型都是颠末量化后的大模型，以是它的模型文件会小许多。以ollama中llama3-8b为例，llama3-8b原始模型巨细接近15G，量化模型的只有4.7G，需要的硬件条件大大降低（老破小的福音）。

2.安装流程

2.1 windows系统

windows只支持win10或更高的版本。
2.1.1下载安装包

windows系统，直接下载安装程序（默认是最新的版本），下载完成后，直接点击安装即可，默认安装在C:UsersAdministratorAppDataLocalProgramsOllama。
Download Ollama on Windows[这里是图片007]https://ollama.com/download

2.1.2验证安装效果

安装完成后，电脑右下角任务栏处显示ollama图标。安装后，打开cmd下令窗口，输入ollama -v检察安装版本，如果不小心关闭了ollama程序，输入ollama serve
即可重新启动ollama服务，ollama自带运行日记管理。
ollama serve
默认端口为127.0.0.1:11434，这个端口在摆设open-webui时需要用到，发起默认即可。如果需要修改默认端口，则需要添加一个环境变量OLLAMA_HOST=0.0.0.0:11434。

2.1.3设置模型文件保存所在

设置模型文件保存位置，打开系统环境变量配置，添加一个环境变量OLLAMA_MODELS=D:huggingfaceollama（自己指定任意一个文件夹路径），然后点确定。
如果不设置环境变量，模型文件会主动保存在C盘。时间久了，C盘很容易存满。

2.1.4拉取大模型镜像

以下载llama3-8b为例子，打开ollama官网Ollama，点击右上角Models型。

重新打开一个cmd窗口，输入ollama run llama3:8b
。模型会拉取文件，然后运行模型。如果只想下载模型，则输入ollama pull llama3:8b。需要运行的时候再输入ollama run llama3:8b
即可。
模型下载速度很快（不需要魔法），基本上可以达到满速，如果自己电脑下载很慢，ctrl+c中止下载，再重新下载镜像。

不知道为啥，文件快要下载完成的时候会突然变慢。此时ctrl+c中止后，再重新下载镜像，下载速度又快了。

下载完成后，如果界面如下，则表示llama3:8b可以正常对话了。

如果出现Error: llama runner process no longer running: 3221225785。很有可能是ollama版本与操纵系统不和谐的关系，默认下载的是最新版，此时需要降低ollama版本至0.1.31。博客首页有ollama0.1.31版本下载链接。网盘下载链接
2.2linux系统

2.2.1下载并安装ollama

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

2.2.2设置环境变量

设置默认端口

1. echo export OLLAMA_HOST="0.0.0.0:11434">>~/.bashrc

复制代码

设置模型默认下载所在

1. echo export OLLAMA_MODELS=/root/ollama/models>>~/.bashrc

复制代码

检察设置情况

1. cat ~/.bashrc

复制代码

激活配置

1. source ~/.bashrc

复制代码

启动ollama 服务

1. ollama serve

复制代码

2.2.3拉取模型文件

重新打开一个shell终端

1. ollama run llama3:8b

复制代码

三、摆设open-webui

1.open-webui先容

Open WebUI 是一种可扩展、功能丰富且用户友爱的自托管 WebUI，旨在完全离线运行。它支持各种LLM运行器，包括 Ollama 和 OpenAI 兼容的 API。
open-webui项目所在https://github.com/open-webui/open-webui/tree/main
2.安装流程

项目运行需要python和nodejs环境
node.js安装及环境配置超详细教程【Windows系统安装包方式】_node 0.12.6 安装 node-echarts 包-CSDN博客
2.1windows

2.1.1下载源码

从github上下载open-webui源码，无法打开github网站的也可以从gitee等国内镜像上搜刮open-webui。我用的是pycharm运行项目，然后复制.env.example文件为.env。

2.1.2用pycharm新建一个虚拟环境

2.1.3安装nodejs依赖

设置npm下载镜像源，进步下载速度

1. npm config set registry https://mirrors.huaweicloud.com/repository/npm/
3. npm i
5. npm run build

复制代码

2.1.4安装python依赖

1. cd backend
2. pip install -r requirements.txt

复制代码

2.1.5启动webui

2.1.5.1windows系统，运行start_windows.bat。linux系统运行start.sh文件。
2.1.5.2实验脚本后，会主动从huggingface.co下载sentence-transformers模型文件all-MiniLM-L6-v2，服务器在国外，无法下载，以是先从国内镜像网站上将模型和配置文件下载到当地。HF-Mirror - Huggingface 镜像站

2.1.5.3打开backend/apps/rag/utils.py文件，修改第318行。重新实验start_windows.bat或start.sh

1. # 原代码为
2. embedding_model_repo_path = snapshot_download(**snapshot_kwargs)
4. # 替换为本地文件路径
5. embedding_model_repo_path = r'D:huggingfaceall-MiniLM-L6-v2'
7. #embedding_model_repo_path = snapshot_download(**snapshot_kwargs)

复制代码

2.1.6启动后的界面，网页所在在最下面，点击即可打开webui

2.2linux

2.2.1安装nodejs

1. #1.安装最新版nodejs
2. curl -sL https://deb.nodesource.com/setup_20.x -o nodesource_setup.sh
3. bash nodesource_setup.sh
4. apt install nodejs -y
5. #2.测试nodejs npm是否安装正确
6. echo nodejs版本为：`node -v`
7. echo npm 版本为：`npm -v`
8. #3.设置npm镜像源
9. npm config set registry https://mirrors.huaweicloud.com/repository/npm/

复制代码

2.2.2安装miniconda3

1. mkdir -p ~/miniconda3
2. wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
3. bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
4. rm -rf ~/miniconda3/miniconda.sh
5. ~/miniconda3/bin/conda init bash && source /root/.bashrc
6. # ~/miniconda3/bin/conda init zsh
7. #设置conda镜像源
8. conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
9. conda config --set show_channel_urls yes
10. #设置pip镜像源
11. pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

2.2.3创建python虚拟环境

1. #1.构建虚拟环境
2. conda create -n open-webui python=3.8
3. #2.更新bashrc中的环境变量
4. conda init bash && source /root/.bashrc
5. #3.切换到创建的虚拟环境
6. conda activate open-webui

复制代码

2.2.4安装open-webui并启动

1. #1.拉取源码cd ~git clone https://gitee.com/pandaworker/open-webui.gitcd open-webuicp -RPp .env.example .env#2.安装前端依赖npm inpm run build#3.安装后端依赖cd backend
2. pip install -r requirements.txt
3. #4.启动后端bash start.sh

复制代码

四、注意事项

1.打开网页后，注册的第一个用户默以为管理员账号，以后注册的账号脚色均为pending（待分配权限）。
2.修改权限的方法。方法一：数据存放在backend/data/webui.db中，可以用数据库可视化软件打开数据库，将账号由pending修改为user或admin。方法二：修改backend/config.py文件中第358行，DEFAULT_USER_ROLE = os.getenv(“DEFAULT_USER_ROLE”, “pending”)，将pending修改为user（普通用户）或admin（管理员），以后每次注册的账号就不需要管理员分配权限。
3.ollama run llama3无法运行，提示Error: llama runner process no longer running: 3221225785。很有可能是ollama版本与操纵系统不和谐的关系，默认下载的是最新版，此时需要降低ollama版本至0.1.31。博客首页有ollama0.1.31版本下载链接。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。