qidao123.com技术社区-IT企服评测·应用市场

标题: 手把手教你在autodl上部署llama模型 [打印本页]
作者: 天空闲话    时间: 2024-8-30 10:51
标题: 手把手教你在autodl上部署llama模型
一、注册AutoDL账号、租用GPU

进入 AutoDL官网链接 注册账号，必要先充点钱，如下创建新实例。

随便选择一张3090创建实例即可，镜像可以按照如下选择

点击进入JupyterLab

二、创建conda情况

进入终端，如图：

依次实行以下代码,最后一行代码运行时间稍长，耐心期待即可。
  1. cd autodl-tmp
  3. conda create -n llama3 python=3.10
  5. source activate
  7. conda activate llama3
  9. conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
复制代码
创建成功即如图所示，注意检查如下标注的两个地方是否一致！！！

补充下载一些库，不然后面会报错，仍旧是在终端依次实行
  1. pip install modelscope
  3. pip install packaging
  5. pip install streamlit
  7. pip install 'transformers==4.41.2'
复制代码
三、下载llama模型

下载Llama3-Tutorial，继续在终端实行如下代码。
  1. git clone https://github.com/SmartFlowAI/Llama3-Tutorial
复制代码

点击进入左边autodl-tmp文件夹，创建一个新的python文件，命名为down.py

通过SDK从魔塔下载模型，复制如下代码粘贴进down.py文件中，记得crtl+s保存
  1. import torch
  2. from modelscope import snapshot_download
  3. import os
  5. model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct',cache_dir='/root/autodl-tmp', revision='master')
复制代码

返回终端运行下面的代码，运行时间较长，耐心期待即可
  1. python down.py
复制代码
如下图所示便是实行成功

通过软链接把下载文件映射到model文件夹，在终端实行下面的代码。
  1. ln -s /root/autodl-tmp/LLM-Research/Meta-Llama-3-8B-Instruct /root/autodl-tmp/model
复制代码

检查一下/root/autodl-tmp-model/路径下是否有Meta-Llama-3-8B-Instruct文件夹。

四、启动模型

在终端实行下面代码。
  1. streamlit run /root/autodl-tmp/Llama3-Tutorial/tools/internstudio_web_demo.py /root/autodl-tmp/model/Meta-Llama-3-8B-Instruct
复制代码
如下便是实行成功。

JupyterLab保持开启，返回AutoDL控制台页面，记住登录指令和密码，之后都要用到。


根据登录指令和JupyterLab中最后输出的Local URL编写一段指令

检查一下上面两个对应是否准确，按照本身的情况来修改下面这行代码
  1. ssh -CNg -L 8501:127.0.0.1:8501 root@connect.yza1.seetacloud.com -p 50301
复制代码
返回本身的电脑，按住Win+R，打开cmd，将上述修改后的代码复制进去,回车出现下列提示，接下来把AutoDL中的密码复制进去，crtl+v之后仍然没有显示密码出来是正常的，接着按回车即可。

打开欣赏器，输入127.0.0.1：8501出现如下页面即部署完成。

参考借鉴：在AutoDL平台上运行Meta-Llama-3-8B-Instruct模型

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/) Powered by Discuz! X3.4