在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型
一、背景先容1. AutoDL平台（AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL）：算力平台，类似阿里云，它主要提供GPU算力。通常按小时收费，显卡（RTX 3090 - 24GB显存）+ CPU（14核）+ 内存（45GB）的配置，1.58元/时。开通后，可以通过网页大概ssh链接上服务器。
https://i-blog.csdnimg.cn/blog_migrate/12da996534f02528ab560e6246e6e220.png
2. LLaMA大模型（魔搭社区-Meta-Llama-3-8B-Instruct）：Meta公司（母公司：FaceBook）发布的开源商用版本。2023年7月，Meta公司发布了人工智能模型LLaMA 2的开源商用版本，意味着大模型应用进入了“免费期间”，初创公司也可以或许以低廉的价格来创建类似ChatGPT这样的聊天呆板人。LLaMA 2大语言模型系列是颠末预训练和微调的生成式文本模型，其参数数量从70亿到700亿不等。2024年4月19日消息，Meta推出了新版本Llama人工智能模型Llama 3，希望与ChatGPT竞争。
https://i-blog.csdnimg.cn/blog_migrate/28c9aa17edebefd87fd65b52604f4800.png
二、创建情况
2.1 创建开发机
本节内容选择3090卡一张，创建实例。
https://i-blog.csdnimg.cn/blog_migrate/d911c4e94eae9bd6f53f46d650a707e8.png
2.2 创建运行情况
利用conda创建情况
conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia https://i-blog.csdnimg.cn/blog_migrate/808ff304e312b982ede4abb25f3d8c21.png
可以看到有了一个名称为llama3 的 conda情况
https://i-blog.csdnimg.cn/blog_migrate/ae0cf4636cee06c73f2f465b77017233.png
2.3 下载Llama3-Tutorial，这里有运行Llama3所需要的配置文件
git clone https://github.com/SmartFlowAI/Llama3-Tutorial
https://i-blog.csdnimg.cn/blog_migrate/2a34557f77620a5706959b8158f1302a.png
2.4 下载模型
下面是通过SDK从魔塔下载模型的方式，通过修改参数可以下载不同模型。
import torch
from modelscope import snapshot_download, AutoModel
import os
# 这里我用了llama3中文社区的微调模型，如果需要别的以相同方法到modelscope下载模型
# model_dir = snapshot_download('baicai003/Llama3-Chinese_v2',cache_dir='/root/autodl-tmp', revision='master')
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct',cache_dir='/root/autodl-tmp', revision='master') 编辑down.py，并运行 python down.py。 https://i-blog.csdnimg.cn/blog_migrate/ffcd51fb4f45c12df47d5d65520fbe98.png
https://i-blog.csdnimg.cn/blog_migrate/af7bfabf7da6d30ae9c8d9ec4e5e7d91.png 通过软链接把下载文件映射到model文件夹。 https://i-blog.csdnimg.cn/blog_migrate/4ae1e93dfa888a7404bc393270be8b11.png 三、启动模型
streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
~/model/Meta-Llama-3-8B-Instruct https://i-blog.csdnimg.cn/blog_migrate/ba052a0da9346569dd708dce8f64fe05.png 通过SSH创建隧道，把当地端口转发到远端端口。此处的端标语38374 和 密码在AutoDL页面找 ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 38374 https://i-blog.csdnimg.cn/blog_migrate/e8ac64b6a0f0c14c64c07baf4434a8c8.png https://i-blog.csdnimg.cn/blog_migrate/d1cd84cc91629f7ff579f9594a7059cd.png 最终效果，通过当地端口访问： https://i-blog.csdnimg.cn/blog_migrate/c05e425b10ed5e454b2688e3492d0b68.png 完毕！ 下一节先容如何利用XTuner微调一个Llama模型。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]