在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型

魏晓东 · 5 小时前

一、背景先容

1. AutoDL平台（AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL）：算力平台，类似阿里云，它主要提供GPU算力。通常按小时收费，显卡（RTX 3090 - 24GB显存）+ CPU（14核）+ 内存（45GB）的配置，1.58元/时。开通后，可以通过网页大概ssh链接上服务器。

2. LLaMA大模型（魔搭社区-Meta-Llama-3-8B-Instruct）：Meta公司（母公司：FaceBook）发布的开源商用版本。2023年7月，Meta公司发布了人工智能模型LLaMA 2的开源商用版本，意味着大模型应用进入了“免费期间”，初创公司也可以或许以低廉的价格来创建类似ChatGPT这样的聊天呆板人。LLaMA 2大语言模型系列是颠末预训练和微调的生成式文本模型，其参数数量从70亿到700亿不等。2024年4月19日消息，Meta推出了新版本Llama人工智能模型Llama 3，希望与ChatGPT竞争。

二、创建情况

2.1 创建开发机
本节内容选择3090卡一张，创建实例。

2.2 创建运行情况
利用conda创建情况

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

复制代码

可以看到有了一个名称为llama3 的 conda情况

2.3 下载Llama3-Tutorial，这里有运行Llama3所需要的配置文件

git clone https://github.com/SmartFlowAI/Llama3-Tutorial

复制代码

2.4 下载模型
下面是通过SDK从魔塔下载模型的方式，通过修改参数可以下载不同模型。

import torch
from modelscope import snapshot_download, AutoModel
import os
# 这里我用了llama3中文社区的微调模型，如果需要别的以相同方法到modelscope下载模型
# model_dir = snapshot_download('baicai003/Llama3-Chinese_v2',cache_dir='/root/autodl-tmp', revision='master')
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct',cache_dir='/root/autodl-tmp', revision='master')

复制代码

编辑down.py，并运行 python down.py。