使用Ollama当地部署Llama 3.1大模型

Llama 3.1 介绍
2024 年 7 月 24 日，Meta 公布推出迄今为止最强盛的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。
固然 405B 新一代大模型所须要的算力成本也是巨大的，一般的中小型企业和个人须要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模型版本。
我们本日就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模型。
安装环境

硬件环境

• • 百度智能云 GPU 服务器。
  

本文以百度智能云 GPU 服务器为例举行安装部署，购买计算型 GN5 服务器， 设置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 体系。

• • 假如您使用本身的环境部署，发起 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器设置发起最低设置为 8 核 32 G 100G 磁盘，5M 带宽。
  

安装步调

购买服务器

• 
  
  • 登录 控制台 ，按需购买 云服务器 ，好比选择设置为 16 核 64G 带 1 张 A10 GPU 卡的实例。
    
  
  

• 
  
  • 安装操纵体系
    
  
  

• • 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。
  

• • 通过 VNC 登录实例，安装 GPU 驱动步伐。
  

通过欣赏器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载举行安装，本教程我们选择 538.78， CUDA 版本为 12.2。

安装 Ollama 客户端

• • 假如您有科学上网环境，最好从 官方下载地址 下载，包管最新版本。假如没有，您可以从 临时下载地址 下载。
  

• • 安装完毕会自动运行，右下角可以看到这个图标：
  

• • 打开 windows powershell 或 CMD 下令行终端，输入 ollama 下令，回车，即可表现 ollama 下令的使用帮助
  

下载模型文件

加载模型

• • 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模型版本，假如您的显存 80G 以上，那么保举安装 70b 模型版本。
  

在下令行中输入如下下令，即可在线拉取模型。

1. ollama run llama3.1:8b

复制代码

假如您的显卡非常好，其他两个模型的拉取下令如下 ：

1. ollama run llama3.1:70b    ollama run llama3.1:405b

复制代码

• • 出现success提示时，分析模型加载完成，可以舒畅地跟大模型互换了。
  

更多模型支持

固然 ollama 不仅支持运行 llama3.1，实际上他支持更多的开源模型，详细教程见官方文档： 模型库
手动导入模型

假如您的网络情况不太好，在线下载模型进度缓存，官方也支持从其他渠道下载好的模型导入。
详细参考 导入模型 ，这里不做赘述。
模型应用

直接在控制台中对话

模型加载完成之后，出现如下提示，就可以直接跟大模型对话了。

设置长途访问

Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们须要长途调用API时非常有用。同时，假如要在open-webui等UI面板中调用 API ，须要为 Ollama 举行跨域设置后方可正常使用。
须要了解如下三个变量的用途
变量名值分析OLLAMA_HOST0.0.0.0:8888用于设置监听的 IP 和端口OLLAMA_ORIGINS*支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com”OLLAMA_MODELSC:\Users\Administrator\.ollama模型文件较大，发起调整到数据盘目录下。 windows 修改环境变量如下：

• 
  
  • 停止 ollama 服务
    
  
  

右下角这个图标，右键选择退出 。

• 
  
  • 设置环境变量
    
  
  

右键"此电脑 > 属性 > 高级体系设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。

设置环境变量，表现监听在0.0.0.0:8888上，其他变量设置依次添加。

• 1. 设置完毕环境变量，打开新的 powershell 大概 CMD 下令行终端， 重新启动 ollama 服务并加载模型。
  

1. ollama run llama3.1:8b

复制代码

API 调用

开启长途连接之后，您就可以长途调用 API 了，示比方下：

1. curl http://106.12.151.249:8888/api/generate -d '{     "model": "llama3.1:8b",     "prompt": "你好啊"   }'

复制代码

流式输出：

Web UI

上面的对话测试，我们都是通过下令行来举行交互的，固然肯定有可视化的 UI 界面，而且许多，这里介绍两个。
Open WebUI

Github: https://github.com/open-webui/open-webui
官方文档：https://docs.openwebui.com/

• 
  
  • 安装
    
  
  

官方给出了两种安装方式

• • 使用 docker 安装。这个是官方保举的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次捏造化，Windows 上须要捏造 Linux 环境才气安装 Docker。假如您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。
  
• • 使用 pip 安装。
  

有两个留意点：
1） 您的 Python 版本不能为 Python3.12，因为截至本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 环境，如您 windows 体系中已经有安装 Python3.12，保举使用 Anaconda 来管理多个 Python 运行环境。
2） 运行依赖 pytorch，如您的环境没有安装，执行如下下令安装依赖：

1. pip install torch torchvision torchaudio --index-url    https://download.pytorch.org/whl/cu121

复制代码

详细安装过程不做赘述，参考 官方安装文档

• 
  
  • 使用
    
  
  

• • 打开页面，注册登录，进入设置，将ollama服务器中的模型加载进来。
  

• • 加载成功后，回到对话界面，可以开始聊天了。
  

• • 问个题目，响应速率照旧不错的。
  

LobeChat

Github: https://github.com/lobehub/lobe-chat
官方文档：https://lobehub.com/zh/docs/self-hosting/start

• 
  
  • 安装
    
  
  

详细安装过程不做赘述，参考 官方安装文档 ，大概您也可以参考我们的另一篇文章：零成本搭建一个多模态大模型对话平台

• 
  
  • 使用
    
  
  

• • 在设置里，选择语言模型，找到Ollama，开启它，并做连通性检查 。
  

• • 检查通过，获取模型列表
  

• • 回到聊天窗口，选择llama3.1:8b模型
  

• • 开始舒畅的聊天吧。
  

读者福利：假如各人对大模型感兴趣，这套大模型学习资料肯定对你有用
对于0基础小白入门：
   假如你是零基础小白，想快速入门大模型是可以考虑的。
  一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划勤学习操持和方向。
  包罗：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型册本PDF。带你从零基础体系性的学好大模型！