Llama3-Tutorial（Llama 3 超等课堂）-- 笔记
第1节—Llama 3 当地 Web Demo 部署https://img-blog.csdnimg.cn/direct/f0557e5cd2834cac9c63d609fe6fcdd2.png
https://img-blog.csdnimg.cn/direct/a057b2ad258844b19e397ae24993112d.png
https://img-blog.csdnimg.cn/direct/d455bdba6bef445982df65f2b6980ba6.png
https://img-blog.csdnimg.cn/direct/87153968627b499da28b519ecec88582.png
端口转发
vscode里面设置端口转发
https://a-aide-20240416-b4c2755-160476.intern-ai.org.cn/proxy/8501/
https://img-blog.csdnimg.cn/direct/b826e01dca354b37b655e0934e223b99.png
ssh -CNg -L 8501:127.0.0.1:8501 root@ssh.intern-ai.org.cn -p 43681
参考
[*]https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/hello_world.md
第2节–Llama 3 微调个人小助手认知（XTuner 版）
https://img-blog.csdnimg.cn/direct/6b863a650daa4b82bba2be4289984f93.png
https://img-blog.csdnimg.cn/direct/c361395340f44b92a79fa2c1082c2e1d.png
https://img-blog.csdnimg.cn/direct/3347b523205b4fd0bf2ee5a6fe1220c6.png
参考
[*]https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/assistant.md
第3节–Llama 3 图片理解本领微调（XTuner+LLaVA 版）
第4节–Llama 3 高效部署实践（LMDeploy 版）
https://img-blog.csdnimg.cn/direct/5b088fd2a32044cc88fdcba0b65f344a.png
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/
nvidia-smi
https://img-blog.csdnimg.cn/direct/d947944e53e6451698cdd4cd37ce9aa3.png
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5
有一点变革，变革不大，从39998MB到37366MB。
https://img-blog.csdnimg.cn/direct/7949ac6f90134dac84ab57fbabde82c7.png
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01
然后与模子对话，可以看到，此时显存占用仅为16213M，代价是会降低模子推理速率。
https://img-blog.csdnimg.cn/direct/62470a3774764f24a0cd1c59cdcd2c23.png
Meta-Llama-3-8B-Instruct_4bit
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01
https://img-blog.csdnimg.cn/direct/9d1e2fc7142c455a9176050312d266e1.png
lmdeploy serve api_server
lmdeploy serve api_server \
/root/model/Meta-Llama-3-8B-Instruct \
--model-format hf \
--quant-policy 0 \
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
端口转发
ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 43681
https://img-blog.csdnimg.cn/direct/2dbf22b80ff942a2aee8bc5955e54ff5.png
参考
[*]https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/lmdeploy.md
第5节–Llama 3 Agent 本领体验与微调
第6节–Llama 3 本领评测（OpenCompass 版）
课程信息
【结课时间】
我们的结课时间已经耽误到5月12日，同样，我们的算力支持和共学计划的有用期也会耽误到5月12日
【结课福利】
[*]可参加人均大佬的【Llama 3 结课大佬】群，并可参加书生·浦语（InternLM）的特别兴趣小组和后续活动
[*]精美的结课证书（结课后 1 个月内可领取）
[*]24 GB 算力的额外支持（有用期至5月12日）
【结课条件】
[*]完成全部视频的观看
[*]完成 Llama 3 Web Demo 部署
[*]使用 XTuner 完成小助手认知微调
[*]使用 LMDeploy 乐成部署 Llama 3 模子
【结课福利领取方式】
通过下方“作业提交问卷”提交基础作业后，即可接洽班级助教帮忙拉进【Llama 3 结课大佬】群，结课福利的相干信息会在结课群内通知
页:
[1]