ToB企服应用市场:ToB评测及商务社交产业平台

标题: 开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十 [打印本页]

作者: 徐锦洪 时间: 2024-9-26 08:50
标题: 开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十
一、前言

   本篇文章将在v100单卡服务器上，使用ms-swift去高效微调QWen2系列模型，通过阅读本文，您将能够更好地把握这些关键技能，理解其中的关键技能要点，并应用于本身的项目中。
<hr> 二、术语介绍

2.1. LoRA微调

   LoRA (Low-Rank Adaptation) 用于微调大型语言模型 (LLM)。  是一种有效的自顺应战略，它不会引入额外的推理延迟，并在保持模型质量的同时显着淘汰下游任务的可练习参数数量。
2.2.参数高效微调(PEFT)

   仅微调少量 (额外) 模型参数，同时冻结预练习 LLM 的大部分参数，从而大大降低了盘算和存储本钱。
2.3. Qwen2-7B-Instruct

   是通义千问 Qwen2 系列中的一个指令微调模型。它在 Qwen2-7B 的基础上举行了指令微调，以提高模型在特定任务上的性能。
   Qwen2-7B-Instruct 具有以下特点：

强大的性能：在多个基准测试中，Qwen2-7B-Instruct 的性能可与 Llama-3-70B-Instruct 相匹敌。
代码和数学能力提升：得益于高质量的数据和指令微调，Qwen2-7B-Instruct 在数学和代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)