ToB企服应用市场:ToB评测及商务社交产业平台

标题: 在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型 [打印本页]

作者: 魏晓东 时间: 2024-9-20 02:55
标题: 在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型
一、背景先容

1. AutoDL平台（AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL）：算力平台，类似阿里云，它主要提供GPU算力。通常按小时收费，显卡（RTX 3090 - 24GB显存）+ CPU（14核）+ 内存（45GB）的配置，1.58元/时。开通后，可以通过网页大概ssh链接上服务器。

2. LLaMA大模型（魔搭社区-Meta-Llama-3-8B-Instruct）：Meta公司（母公司：FaceBook）发布的开源商用版本。2023年7月，Meta公司发布了人工智能模型LLaMA 2的开源商用版本，意味着大模型应用进入了“免费期间”，初创公司也可以或许以低廉的价格来创建类似ChatGPT这样的聊天呆板人。LLaMA 2大语言模型系列是颠末预训练和微调的生成式文本模型，其参数数量从70亿到700亿不等。2024年4月19日消息，Meta推出了新版本Llama人工智能模型Llama 3，希望与ChatGPT竞争。

二、创建情况

2.1 创建开发机
本节内容选择3090卡一张，创建实例。

2.2 创建运行情况
利用conda创建情况

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

复制代码

可以看到有了一个名称为llama3 的 conda情况

2.3 下载Llama3-Tutorial，这里有运行Llama3所需要的配置文件

git clone https://github.com/SmartFlowAI/Llama3-Tutorial

复制代码

2.4 下载模型
下面是通过SDK从魔塔下载模型的方式，通过修改参数可以下载不同模型。

import torch
from modelscope import snapshot_download, AutoModel
import os
# 这里我用了llama3中文社区的微调模型，如果需要别的以相同方法到modelscope下载模型
# model_dir = snapshot_download('baicai003/Llama3-Chinese_v2',cache_dir='/root/autodl-tmp', revision='master')
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct',cache_dir='/root/autodl-tmp', revision='master')

复制代码

编辑down.py，并运行 python down.py。

通过软链接把下载文件映射到model文件夹。

三、启动模型

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
~/model/Meta-Llama-3-8B-Instruct

复制代码

通过SSH创建隧道，把当地端口转发到远端端口。此处的端标语38374 和密码在AutoDL页面找

ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 38374

复制代码

最终效果，通过当地端口访问：

完毕！下一节先容如何利用XTuner微调一个Llama模型。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)