使用Ollama本地部署Llama 3.1大模子

Llama 3.1 先容

2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模子——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在知识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模子相媲美的模子。
当然 405B 新一代大模子所必要的算力成本也是巨大的，一样平常的中小型企业和个人必要慎重评估一下成本与产出是否值得应用。幸亏作为新版本发布的一部门，官方也同时推出全新升级的 Llama 3.1 70B 和 8B 模子版本。
我们今天就在百度智能云 GPU 服务器上来部署体验最新 Llama3.1 8B 模子。
安装环境

硬件环境

• 百度智能云 GPU 服务器。
  

本文以百度智能云 GPU 服务器为例进行安装部署，购买计算型 GN5 服务器， 配置 16 核 CPU，64GB 内存，Nvidia Tesla A10 单卡 24G 显存，搭配 100GB SSD 数据盘， 安装 Windows 2022 Server 系统。

• 如果您使用自己的环境部署，发起 NVIDIA GPU，民用卡 30、40 系列，商用卡 T4、V100、A10 等系列，至少 8G 以上显存。服务器配置发起最低配置为 8 核 32 G 100G 磁盘，5M 带宽。
  

安装步骤

购买服务器

• 登录 控制台 ，按需购买 云服务器 ，比如选择配置为 16 核 64G 带 1 张 A10 GPU 卡的实例。
  

• 安装操作系统
  

• 选择 Windows 公共镜像，支持 Windows2019 及以上版本，本教程我们选择 Windows2022 。
  

• 通过 VNC 登录实例，安装 GPU 驱动程序。
  

通过欣赏器进入 NVIDIA官方驱动 下载地址，选择相应驱动下载进行安装，本教程我们选择 538.78， CUDA 版本为 12.2。

安装 Ollama 客户端

• 如果您有科学上网环境，最好从 官方下载地址 下载，保证最新版本。 如果没有，您可以从 暂时下载地址 下载。
  

• 安装完毕会主动运行，右下角可以看到这个图标：
  

• 打开 windows powershell 或 CMD 命令行终端，输入 ollama 命令，回车，即可表现 ollama 命令的使用资助
  

下载模子文件

加载模子

• 由于 A10 GPU 只有 24G 显存，因此我们安装 8b 模子版本，如果您的显存 80G 以上，那么保举安装 70b 模子版本。
  

在命令行中输入如下命令，即可在线拉取模子。

1. arduino
2. 代码解读
3. 复制代码
4. ollama run llama3.1:8b

复制代码

如果您的显卡非常好，其他两个模子的拉取命令如下 ：

1. arduino
2. 代码解读
3. 复制代码
4. ollama run llama3.1:70b
5. ollama run llama3.1:405b

复制代码

• 出现success提示时，阐明模子加载完成，可以舒畅地跟大模子交流了。
  

更多模子支持

当然 ollama 不但支持运行 llama3.1，实际上他支持更多的开源模子，详细教程见官方文档： 模子库
手动导入模子

如果您的网络环境不太好，在线下载模子进度缓存，官方也支持从其他渠道下载好的模子导入。
详细参考 导入模子 ，这里不做赘述。
模子应用

直接在控制台中对话

模子加载完成之后，出现如下提示，就可以直接跟大模子对话了。

配置远程访问

Ollama 启动的默认地址为 [http://127.0.0.1:11434](http://localhost:11434) ，我们通过设置环境变量 OLLAMA_HOST来修改默认监听地址和端口，这往往对我们必要远程调用API时非常有用。同时，如果要在open-webui等UI面板中调用 API ，必要为 Ollama 进行跨域配置后方可正常使用。
必要相识如下三个变量的用途
变量名值阐明OLLAMA_HOST0.0.0.0:8888用于配置监听的 IP 和端口OLLAMA_ORIGINS*支持跨域访问，也可以指定特定域名，如：“baidu.com,hello.com”OLLAMA_MODELSC:\Users\Administrator.ollama模子文件较大，发起调整到数据盘目录下。 windows 修改环境变量如下：

• 停止 ollama 服务
  

右下角这个图标，右键选择退出 。

• 设置环境变量
  

右键"此电脑 > 属性 > 高级系统设置 > 环境变量 > Administrator 的用户变量 > 新建用户变量"。

设置环境变量，表现监听在0.0.0.0:8888上，其他变量设置依次添加。

• 设置完毕环境变量，打开新的 powershell 或者 CMD 命令行终端， 重新启动 ollama 服务并加载模子。
  

1. arduino
2. 代码解读
3. 复制代码
4. ollama run llama3.1:8b

复制代码

API 调用

开启远程毗连之后，您就可以远程调用 API 了，示比方下：

1. vbnet
2. 代码解读
3. 复制代码
4. curl http://106.12.151.249:8888/api/generate -d '{
5.   "model": "llama3.1:8b",
6.   "prompt": "你好啊"
7. }'

复制代码

流式输出：

Web UI

上面的对话测试，我们都是通过命令行来进行交互的，当然肯定有可视化的 UI 界面，而且很多，这里先容两个。
Open WebUI

Github: github.com/open-webui/…
官方文档： docs.openwebui.com/

• 安装
  

官方给出了两种安装方式

• 使用 docker 安装。这个是官方保举的安装方式，方便快捷，但不幸的是，百度智能云 Windows Server 不支持二次捏造化，Windows 上必要捏造 Linux 环境才气安装 Docker。如果您使用的是 Linux 环境，可以通过 Docker 安装，本教程不使用这种。
  
• 使用 pip 安装。
  

有两个注意点：
1） 您的 Python 版本不能为 Python3.12，因为截至本教程编写时，open-webui 还不支持 Python3.12，本教程使用 python3.11 环境，如您 windows 系统中已经有安装 Python3.12，保举使用 Anaconda 来管理多个 Python 运行环境。
2） 运行依赖 pytorch，如您的环境没有安装，实行如下命令安装依赖：

1. python
2. 代码解读
3. 复制代码
4. pip install torch torchvision torchaudio --index-url
5. https://download.pytorch.org/whl/cu121

复制代码

详细安装过程不做赘述，参考 官方安装文档

• 使用
  

• 打开页面，注册登录，进入设置，将ollama服务器中的模子加载进来。
  

• 加载成功后，回到对话界面，可以开始聊天了。
  

• 问个问题，响应速率还是不错的。
  

LobeChat

Github: github.com/lobehub/lob…
官方文档： lobehub.com/zh/docs/sel…

• 安装
  

详细安装过程不做赘述，参考 官方安装文档 。

• 使用
  

• 在设置里，选择语言模子，找到Ollama，开启它，并做连通性检查 。
  

• 检查通过，获取模子列表
  

• 回到聊天窗口，选择llama3.1:8b模子
  

• 开始舒畅的聊天吧。
  

如何系统的去学习大模子LLM ？

大模子期间，火爆出圈的LLM大模子让程序员们开始重新评估自己的本事。 “AI会代替那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续出场！超高年薪，挖掘AI大模子人才！ 如今大厂老板们，也更倾向于会AI的人，平凡程序员，还有应对的机会吗？
与其焦虑……

不如成为「把握AI工具的技能人」，毕竟AI期间，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老课本关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对全部自学遇到困难的同砚们，我帮大家系统梳理大模子学习脉络，将这份 LLM大模子资料 分享出来：包罗LLM大模子册本、640套大模子行业报告、LLM大模子学习视频、LLM大模子学习路线、开源大模子学习教程等,