手把手教你在autodl上部署llama模型

一、注册AutoDL账号、租用GPU

进入 AutoDL官网链接 注册账号，必要先充点钱，如下创建新实例。

随便选择一张3090创建实例即可，镜像可以按照如下选择

点击进入JupyterLab

二、创建conda情况

进入终端，如图：

依次实行以下代码,最后一行代码运行时间稍长，耐心期待即可。

1. cd autodl-tmp
3. conda create -n llama3 python=3.10
5. source activate
7. conda activate llama3
9. conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

复制代码

创建成功即如图所示，注意检查如下标注的两个地方是否一致！！！

补充下载一些库，不然后面会报错，仍旧是在终端依次实行

1. pip install modelscope
3. pip install packaging
5. pip install streamlit
7. pip install 'transformers==4.41.2'

复制代码

三、下载llama模型

下载Llama3-Tutorial，继续在终端实行如下代码。

1. git clone https://github.com/SmartFlowAI/Llama3-Tutorial

复制代码

点击进入左边autodl-tmp文件夹，创建一个新的python文件，命名为down.py

通过SDK从魔塔下载模型，复制如下代码粘贴进down.py文件中，记得crtl+s保存

1. import torch
2. from modelscope import snapshot_download
3. import os
5. model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct',cache_dir='/root/autodl-tmp', revision='master')

复制代码

返回终端运行下面的代码，运行时间较长，耐心期待即可

1. python down.py

复制代码

如下图所示便是实行成功

通过软链接把下载文件映射到model文件夹，在终端实行下面的代码。

1. ln -s /root/autodl-tmp/LLM-Research/Meta-Llama-3-8B-Instruct /root/autodl-tmp/model

复制代码

检查一下/root/autodl-tmp-model/路径下是否有Meta-Llama-3-8B-Instruct文件夹。

四、启动模型

在终端实行下面代码。

1. streamlit run /root/autodl-tmp/Llama3-Tutorial/tools/internstudio_web_demo.py /root/autodl-tmp/model/Meta-Llama-3-8B-Instruct

复制代码

如下便是实行成功。

JupyterLab保持开启，返回AutoDL控制台页面，记住登录指令和密码，之后都要用到。

• 我的登录指令：ssh -p 50301 root@connect.yza1.seetacloud.com
  

根据登录指令和JupyterLab中最后输出的Local URL编写一段指令

• 8501即Local URL的最后四位（可能必要修改）
  
• root@connect.yza1.seetacloud.com来自于你的登录指令（可能必要修改）
  
• 50301也是来自于你的登录指令（肯定必要修改）
  

检查一下上面两个对应是否准确，按照本身的情况来修改下面这行代码

1. ssh -CNg -L 8501:127.0.0.1:8501 root@connect.yza1.seetacloud.com -p 50301

复制代码

返回本身的电脑，按住Win+R，打开cmd，将上述修改后的代码复制进去,回车出现下列提示，接下来把AutoDL中的密码复制进去，crtl+v之后仍然没有显示密码出来是正常的，接着按回车即可。

打开欣赏器，输入127.0.0.1：8501出现如下页面即部署完成。

参考借鉴：在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。