Linux快速部署大语言模型LLaMa3，Web可视化j交互（Ollama+Open Web UI） ...

本文在个人博客同步发布，前去阅读
  1 介绍

本文将介绍使用开源工具Ollama(60.6k⭐)部署LLaMa大模型，以及使用Open WebUI搭建前端Web交互界面的方法。
我们先来过一遍几个相关的概念，对这块比较认识的朋侪可跳过。
1.1 大规模语言模型

大规模语言模型（Large Language Models, LLMs），顾名思义是指在大量语料数据的底子上训练成的模型，能够模仿人类的语言风格天生较为生动的文本。这类模型的主要特征有：

• 规模大：训练所使用的数据量非常庞大，有时超过1000亿个参数。
  
• 复杂性高：模型结构比较复杂
  
• 具有较好的上下文明确能力：大规模语言模型可以明确文本的上下文和细微差别
  

1.2 LLaMa

LLaMA是一种大规模语言模型，由Meta AI基于Transformer深度学习框架开发。该模型旨在天生各种风格的高质量文本（比方创意写作、对话甚至诗歌），能够胜任以下工作：

• 自然语言处理（NLP）：明确和天生自然语言。
  
• 呆板学习：根据数据和算法学习新的信息和技能。
  
• 对话天生：可以与用户进行对话，并根据情况天生符合的回应。
  

1.3 Ollama

   官网：Ollama
  API文档：ollama/docs/api.md at main · ollama/ollama (github.com)
  支持的模型列表：library
  一款可以快速部署大模型的工具。
1.4 Open WebUI

   官网：Open WebUI
  相关介绍及源码：open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)
  Open WebUI 是一个可视化的Web交互环境，它拥有清新简约的UI风格，具有可扩展、功能丰富、用户友好、自托管的特点，可以完全离线运行。它支持各种 LLM 运行程序，包括 Ollama 和 OpenAI 兼容的 API。
2 部署LLM服务

本文介绍的方法使用于Linux系统，同样实用于Windows系统的WSL（安装方法可参见我的这篇文章）。
2.1 部署Ollama

1、下载Ollama
Linux系统的安装下令如下：

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

※别的官方还提供了macOS和Windows的下载方式。
2、下载llama3模型

1. ollama run llama3

复制代码

※在这里可以看到该下令的相关介绍。
上述下令将主动拉取模型，并进行sha256验签。处理完毕后主动进入llama3的运行环境，可以使用中文或英文进行提问，ctrl+D退出。
3、配置服务
为使外网环境能够访问到服务，必要对HOST进行配置。
打开配置文件：vim /etc/systemd/system/ollama.service，根据情况修改变量Environment：

• 服务器环境下：Environment="OLLAMA_HOST=0.0.0.0:11434"
  
• 虚拟机环境下：Environment="OLLAMA_HOST=服务器内网IP地址:11434"
  

3、启动服务
启动服务的下令：ollama serve
首次启动可能会出现以下两个提示：
   Couldn’t find ‘/home/用户名/.ollama/id_ed25519’. Generating new private key.
  该提示表现文件系统中不存在ssh私钥文件，此时下令将主动帮我们天生该文件，并在下令行中打印相应的公钥。
   Error: listen tcp 127.0.0.1:11434: bind: address already in use
  看到该提示，大概率服务已在运行中，可以通过netstat -tulpn | grep 11434下令进行确认。

• 若下令输出的最后一列包含“ollama”字样，则表现服务已启动，无需做额外处理。
  
• 否则，可实行执行下列下令重启ollama：
  

1. # ubuntu/debian
2. sudo apt update
3. sudo apt install lsof
4. stop ollama
5. lsof -i :11434
6. kill <PID>
7. ollama serve
9. # centos
10. sudo yum update
11. sudo yum install lsof
12. stop ollama
13. lsof -i :11434
14. kill <PID>
15. ollama serve

复制代码

假如您使用的是MacOS，可在