Llama3-Tutorial（Llama 3 超等课堂）-- 笔记

第1节—Llama 3 当地 Web Demo 部署

端口转发

vscode里面设置端口转发
https://a-aide-20240416-b4c2755-160476.intern-ai.org.cn/proxy/8501/

1. ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 43681

复制代码

参考

• https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/hello_world.md
  

第2节–Llama 3 微调个人小助手认知（XTuner 版）

参考

• https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/assistant.md
  

第3节–Llama 3 图片理解本领微调（XTuner+LLaVA 版）

第4节–Llama 3 高效部署实践（LMDeploy 版）

1. lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/
2. nvidia-smi

复制代码

1. lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5

复制代码

有一点变革，变革不大，从39998MB到37366MB。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01
然后与模子对话，可以看到，此时显存占用仅为16213M，代价是会降低模子推理速率。

1. Meta-Llama-3-8B-Instruct_4bit
2. lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01

复制代码

1. lmdeploy serve api_server
2. lmdeploy serve api_server \
3.     /root/model/Meta-Llama-3-8B-Instruct \
4.     --model-format hf \
5.     --quant-policy 0 \
6.     --server-name 0.0.0.0 \
7.     --server-port 23333 \
8.     --tp 1

复制代码

端口转发

ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 43681

参考

• https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/lmdeploy.md
  

第5节–Llama 3 Agent 本领体验与微调

第6节–Llama 3 本领评测（OpenCompass 版）

课程信息

【结课时间】
我们的结课时间已经耽误到5月12日，同样，我们的算力支持和共学计划的有用期也会耽误到5月12日
【结课福利】

• 可参加人均大佬的【Llama 3 结课大佬】群，并可参加书生·浦语（InternLM）的特别兴趣小组和后续活动
  
• 精美的结课证书（结课后 1 个月内可领取）
  
• 24 GB 算力的额外支持（有用期至5月12日）
  

【结课条件】

• 完成全部视频的观看
  
• 完成 Llama 3 Web Demo 部署
  
• 使用 XTuner 完成小助手认知微调
  
• 使用 LMDeploy 乐成部署 Llama 3 模子
  

【结课福利领取方式】
通过下方“作业提交问卷”提交基础作业后，即可接洽班级助教帮忙拉进【Llama 3 结课大佬】群，结课福利的相干信息会在结课群内通知