Ollama与Llama 3.1联手：打造高效本地大模子部署方案

Llama 3.1 先容
2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模子——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模子相媲美的模子。
前排提示，文末有大模子AGI-CSDN独家资料包哦！
当然 405B 新一代大模子所必要的算力本钱也是巨大的，一样平常的中小型企业和个人必要慎重评估一下本钱与产出是否值得应用。幸亏作为新版本发布的一部分，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模子版本。
我们本日就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模子。
安装情况

硬件情况

• • 百度智能云 GPU 服务器。
  

本文以百度智能云 GPU 服务器为例举行安装部署，购买计算型 GN5 服务器， 配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 系统。

• • 如果您使用自己的情况部署，发起 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置发起最低配置为 8 核 32 G 100G 磁盘，5M 带宽。
  

安装步骤

购买服务器

• 
  
  • 登录 控制台 ，按需购买 云服务器 ，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。
    
  
  

• 
  
  • 安装操作系统
    
  
  

• • 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。
  

• • 通过 VNC 登录实例，安装 GPU 驱动程序。
  

通过浏览器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载举行安装，本教程我们选择 538.78， CUDA 版本为 12.2。

安装 Ollama 客户端

• • 如果您有科学上网情况，最好从 官方下载地址 下载，保证最新版本。如果没有，您可以从 暂时下载地址 下载。
  

• • 安装完毕会主动运行，右下角可以看到这个图标：
  

• • 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可体现 ollama 命令的使用帮助
  

下载模子文件

加载模子

• • 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模子版本，如果您的显存 80G 以上，那么保举安装 70b 模子版本。
  

在命令行中输入如下命令，即可在线拉取模子。

1. ollama run llama3.1:8b

复制代码

如果您的显卡非常好，其他两个模子的拉取命令如下 ：

1. ollama run llama3.1:70b    ollama run llama3.1:405b

复制代码

• • 出现success提示时，阐明模子加载完成，可以愉快地跟大模子交流了。
  

更多模子支持

当然 ollama 不仅支持运行 llama3.1，现实上他支持更多的开源模子，具体教程见官方文档： 模子库
手动导入模子

如果您的网络情况不太好，在线下载模子进度缓存，官方也支持从其他渠道下载好的模子导入。
具体参考 导入模子 ，这里不做赘述。
模子应用

直接在控制台中对话

模子加载完成之后，出现如下提示，就可以直接跟大模子对话了。

配置远程访问

Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置情况变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们必要远程调用API时非常有效。同时，如果要在open-webui等UI面板中调用 API ，必要为 Ollama 举行跨域配置后方可正常使用。
必要相识如下三个变量的用途
变量名值阐明OLLAMA_HOST0.0.0.0:8888用于配置监听的 IP 和端口OLLAMA_ORIGINS*支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com”OLLAMA_MODELSC:\Users\Administrator\.ollama模子文件较大，发起调解到数据盘目录下。 windows 修改情况变量如下：

• 
  
  • 停止 ollama 服务
    
  
  

右下角这个图标，右键选择退出 。

• 
  
  • 设置情况变量
    
  
  

右键"此电脑 > 属性 > 高级系统设置 > 情况变量 > Administrator 的用户变量 > 新建用户变量"。

设置情况变量，表现监听在0.0.0.0:8888上，其他变量设置依次添加。

• 1. 设置完毕情况变量，打开新的 powershell 或者 CMD 命令行终端， 重新启动 ollama 服务并加载模子。
  

1. ollama run llama3.1:8b

复制代码

API 调用

开启远程连接之后，您就可以远程调用 API 了，示例如下：

1. curl http://106.12.151.249:8888/api/generate -d '{     "model": "llama3.1:8b",     "prompt": "你好啊"   }'

复制代码

流式输出：

Web UI

上面的对话测试，我们都是通过命令行来举行交互的，当然肯定有可视化的 UI 界面，而且很多，这里先容两个。
Open WebUI

Github: https://github.com/open-webui/open-webui
官方文档：https://docs.openwebui.com/

• 
  
  • 安装
    
  
  

官方给出了两种安装方式

• • 使用 docker 安装。这个是官方保举的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次虚拟化，Windows 上必要虚拟 Linux 情况才能安装 Docker。如果您使用的是 Linux 情况，可以通过 Docker 安装，本教程不使用这种。
  
• • 使用 pip 安装。
  

有两个注意点：
1） 您的 Python 版本不能为 Python3.12，由于停止本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 情况，如您 windows 系统中已经有安装 Python3.12，保举使用 Anaconda 来管理多个 Python 运行情况。
2） 运行依赖 pytorch，如您的情况没有安装，执行如下命令安装依赖：

1. pip install torch torchvision torchaudio --index-url    https://download.pytorch.org/whl/cu121

复制代码

具体安装过程不做赘述，参考 官方安装文档

• 
  
  • 使用
    
  
  

• • 打开页面，注册登录，进入设置，将ollama服务器中的模子加载进来。
  

• • 加载乐成后，回到对话界面，可以开始聊天了。
  

• • 问个题目，相应速率还是不错的。
  

LobeChat

Github: https://github.com/lobehub/lobe-chat
官方文档：https://lobehub.com/zh/docs/self-hosting/start

• 
  
  • 安装
    
  
  

具体安装过程不做赘述，参考 官方安装文档 ，或者您也可以参考我们的另一篇文章：零本钱搭建一个多模态大模子对话平台

• 
  
  • 使用
    
  
  

• • 在设置里，选择语言模子，找到Ollama，开启它，并做连通性检查 。
  

• • 检查通过，获取模子列表
  

• • 回到聊天窗口，选择llama3.1:8b模子
  

• • 开始愉快的聊天吧。
  

读者福利：如果大家对大模子感兴趣，这套大模子学习资料一定对你有效
对于0底子小白入门：
   如果你是零底子小白，想快速入门大模子是可以考虑的。
  一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
  包括：大模子学习线路汇总、学习阶段，大模子实战案例，大模子学习视频，人工智能、呆板学习、大模子书籍PDF。带你从零底子系统性的学好大模子！