LLaMA- Adapter: Efficient Fine-tuning of Language Models with Zero-ini
发表时间：14 Jun 2023论文链接：https://arxiv.org/pdf/2303.16199
作者单元：Shanghai Artificial Intelligence Laboratory
Motivation：最近，指令跟踪模型取得了重大进展，例如 ChatGPT 和 GPT-3.5 (text-davinci-003) 。按照天然语言的说明，它们可以以会话方式天生专业和上下文响应。然而，由于闭源限制和高开发成本，指令模型的进一步遍及在很大程度上受到了阻碍。尽管 Alpaca 的有效性，但大规模 LLAMA 的完整微调仍然耗时、计算密集型、多模态不受支持和繁琐，无法转移到不同的下游场景。
办理方法：我们提出了 LLAMA-Adapter，这是一种轻量级的自顺应方法，可以有效地将 LLAMA 微调为指令跟踪模型。使用 52K self-instruct demonstrations，LLaMA-Adapter 在冻结的 LLAMA 7B 模型上仅引入 1.2M 可学习参数，在 8 个 A100 GPU 上进行微调的成本不到一小时。https://i-blog.csdnimg.cn/direct/d3baef5f2298470996cf9aa1a8cbff94.png
[*] 本文提出 LLaMA-Adapter，一种高效的微调方法，将 LLaMA 调整为指令跟随模型。对于 llama7b 模型来说，可训练参数缩小到 1.2M，只须要 1 小时即可完成 52K 数据微调 (基于 8xA100 训练)，比 Alpaca 快 3 倍
[*] 具体来说，在 LLaMA 的更深层的 transformer 层中，将一组可学习的自顺应提示作为前缀附加到输入指令 token 中。这些提示学习将新指令（条件）自顺应地注入 LLaMA.
[*] 为了制止在早期训练阶段顺应提示中的噪声，将插入层的 attention 机制修改为零初始 attention，并使用可学习的门控因子。通过零向量初始化，门控可以首先保留 LLaMA 中的原始知识，并在训练过程中渐渐引入指令信号.
[*] 如许做的一个利益和 LoRA 类似，即对于不同的场景可以在基础的 llama 模型 (7B) 上插入不同的插件小模型（1.2 M），用于处理不同场景任务，而不用对每个场景任务都准备一个 7B 的大模型.
[*] 支持多模态输入：支持方式就是简朴将图片的 tokens 加到 adaption prompts 中，在 ScienceQA 基准测试中表现出色。
实现方式：
https://i-blog.csdnimg.cn/direct/20c90b90303745888c35270e165c7664.png
Learnable Adaption Prompts:
https://i-blog.csdnimg.cn/direct/3e671ec41d6e48638a57211f1ed12fbe.png
接，表达式为：https://i-blog.csdnimg.cn/direct/d4d90526715d4243873b0816c9e52b11.png
如许Pl内部学习到的指令知识可以有效地引导Tl天生上下文响应（这一步的操纵与 Visual Prompt Tuning 的方式千篇一律）。
Zero-init Attention:
假如顺应提示是随机初始化的，大概会在训练开始时对词 token 带来干扰，不利于调优的稳定性和有效性。考虑到这一点，修改了最后 L 个 transformer 层的传统注意机制为零初始注意. （这个门控机制是在哪个维度上门控？是在加的提示向量上进行门控（原文中K个），用于筛选加上的提示向量。）https://i-blog.csdnimg.cn/direct/fbbca49b24474cb794a1aff1a77a73c6.png
Multi-modal Reasoning：https://i-blog.csdnimg.cn/direct/6780823809cd4596bd09f06f86332c02.png
LLaMA-Adapter 不局限于文本指令，能够根据其他模态输入来回答问题，为语言模型增加了丰富的跨模态信息。
对于图片输入，使用 CLIP 提取多标准的全局特征，然后将这些多标准特征 concat 起来，经过一个投影层得到全局的信息表征。
https://i-blog.csdnimg.cn/direct/109b7cc0be59422ea3eaaee9e551ba55.png
Ip∈R1×C 是和 adapter prompt 维度一样的全局图片特征表示，然后将该特征 repeat 后与 adapter prompt 相加得到多模态特征（也是常规的多模态特征融合的操纵）。
https://i-blog.csdnimg.cn/direct/94220e2c78154c949c2c13c009fdd705.png
实行：Instruction-following Evaluation, Multi-modal Evaluation, Zero-initialized Attention for other Large Models(除了指令跟随模型外，我们的零初始化注意力可以推广到其他视觉和语言模型，用于参数高效的微调。对于视觉模型，我们使用我们的方法微调预训练的 ViT进行下游图像分类，在各种图像分布上获得 VTAB-1k基准上的精良性能。)
结论：
[*] 很直观的做 llm 微调的实现思路，加一些可学习的 prompt 思路和 Visual Prompt Tuning 很像。
[*] 与比 LoRA 的缺点看起来是增加了肯定推理计算量，本文中和 LoRA 等方法的对比还不敷详细（实际上与LoRA做的工作并不像，本文是做微调，而LoRA是做重参数化）。
Limitation: 由于我们的多模态变体提出了一种联合外部语义的通用范式，我们将进一步扩展 LLAMA-Adapter 作为一个同一的多模态框架，以广泛的指令（例如视频、音频和点云）为条件。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]