ToB企服应用市场:ToB评测及商务社交产业平台
标题:
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory(五)
[打印本页]
作者:
tsx81429
时间:
2024-8-11 13:37
标题:
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory(五)
一、媒介
本篇文章将使用LLaMA-Factory去高效微调QWen2系列模型,通过阅读本文,您将可以或许更好地把握这些关键技术,明白此中的关键技术要点,并应用于本身的项目中。
<hr>
二、术语介绍
2.1. LoRA微调
LoRA (Low-Rank Adaptation) 用于微调大型语言模型 (LLM)。 是一种有用的自顺应策略,它不会引入额外的推理延迟,并在保持模型质量的同时显着减少下游使命的可训练参数数目。
2.2.参数高效微调(PEFT)
仅微调少量 (额外) 模型参数,同时冻结预训练 LLM 的大部分参数,从而大大低落了盘算和存储成本。
2.3.
Qwen2-7B-Instruct
是通义千问 Qwen2 系列中的一个指令微调模型。它在 Qwen2-7B 的基础上举行了指令微调,以提高模型在特定使命上的性能。
Qwen2-7B-Instruct 具有以下特点:
强盛的性能
:在多个基准测试中,Qwen2-7B-Instruct 的性能可与 Llama-3-70B-Instruct 相对抗。
代码和数学本领提升
:得益于高质量的数据和指令微调,Qwen2-7B-Instruct 在数学和代码本领上实现了飞升。
多语言本领
:模型训练过程中增加了 27 种语言相关的高质量数据,提升了多语言本领。
上下文长度支持
:Qwen2 系列中的所有 Instruct 模型均在 32k 上下文中举行训练,Qwen2-7B-Instruct 和 Qwen2-72B-Instru
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)
Powered by Discuz! X3.4