Ollama在MacOS、Linux当地部署千问大模型及实现WEB UI访问

一、前言

阿里通义千问发布了Qwen2，提供了0.5B～72B的量级模型，在​​Ollama官网​​可以搜索qwen2查看，本文提供了Ollama的下载（在线/离线安装）、Ollama运行模型、使用WebUI毗连模型以及页面简单配置。

二、实现效果

• 控制台直接提问
  
  
  
  
• Web界面访问
  
  
  
  

三、实现步骤

• Windows、MacOS、Linux安装Ollama（我这里只在Macos、Linux上举行了安装）
  
• 使用Ollama拉取、运行模型（这步完成可以使用控制台、Api提问）
  
• 用Web UI实现可视化提问，方便管理。
  

四、开始实现

1.1 安装

首先我们须要在​​Ollama官网​​​点击“Download”按钮，选择得当系统的版本点击下载，但由于网络问题，会非常慢，建议去​​他的github​​上下载release。

可以看见Ollama照旧非常活跃的，在这里选择合适的版本下载安装。

Mac版本下载后放到应用文件夹内，打开后根据提示即可完成安装，Linux的安装稍微贫苦点，官方提供的下令是：
curl https://ollama.ai/install.sh | sh
就是下载install.sh并实行，脚本照旧先下载好安装包再举行安装，网络问题会非常慢大概下载失败，以是我们这里须要把脚本使用下面脚本下载下来：
wget https://ollama.ai/install.sh
vim编辑这个脚本总共须要修改两个地方：
• 注释下载链接（install.sh的第66行左右）

1. status "Downloading ollama..."
2. #curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

复制代码

• 修改Ollama安装目录(install.sh的第73行左右)

1. status "Installing ollama to $BINDIR..."
2. $SUDO install -o0 -g0 -m755 -d $BINDIR
3. #$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
4. $SUDO install -o0 -g0 -m755 ./ollama-linux-amd64  $BINDIR/ollama

复制代码

以上步骤做好，就可以进入到install.sh脚本所在目录使用sh ./install.sh开始安装了，安装完，输入如图ollama -v出现版本代表安装成功。
1.2 模型拉取、运行

文章开头提到的在官网找到qwen2，选择须要的版本，如下图选择了1.5b版本，右边对应着实行下令，复制下令在MacOS大概Linux终端中实行。

这里如果没有模型会自动拉取模型，拉取速度非常快，拉取完后显示“>>> Send a message (/? for help)”代表可以直接输入问题举行提问了。

1.3 用Web UI实现可视化提问。

本文使用docker运行web界面，docker的安装这里不做过多赘述，终端中实行：

1. docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

复制代码

docker会自动拉取镜像运行容器，运行成功后访问http://127.0.0.1:3000进入界面，首次注册登录的是管理员账号，可以设置成中文，也可以在设置中配置反面注册的默认角色。

须要注意的是须要选择提问的模型，在举行提问。
五、总结

总体照旧比力简单的，更高阶的玩法，看小同伴的反馈，反面更新比如自定义智能体、训练等。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。