【LLM】Llama 3 论文精读

导言

• Llama 3.5系列模型的发布：
  
  
  
  • Llama 3.5系列模型是开源的，最大模型参数为405B（[[稠密Transformer架构]]，而不是MOE 架构），上下文窗口长度为128K。
    
  • 模型支持多语言和工具使用，并且在某些评估中已经接近或超过GPT-4的水平。
    
  
  
• 模型架构与练习：
  
  
  
  • Llama 3.5采用了传统的稠密Transformer架构，而不是MOE（Mixture of Experts）架构。
    
  • 练习过程分为预练习和后练习两个阶段，后练习阶段使用了简单的SFT（Supervised Fine-Tuning）和DPO（Direct Preference Optimization）算法，没有使用复杂的RLHF（Reinforcement Learning from Human Feedback）。
    
  
  
• 性能评估：
  
  
  
  • Llama 3.5在多个评估基准上表现出色，尤其是在知识面（MMLU）、代码生成（HumanEval）和数学推理（GSM8K）等任务上。
    
  • 模型越大，性能提拔越明显，但70B模型已经表现出较强的性能，405B模型在某些任务上提拔不大。
    
  
  
• 模型的应用场景：
  
  
  
  • Llama 3.5展示了在工具使用、多语言翻译、复杂推理和代码生成等方面的能力。
    
  • 模型在多语言任务上表现良好，能够将故事翻译成西班牙语等语言。
    
  
  
• 模型的开源与使用限制：
  
  
  
  • Llama 3.5 是开源的，但Llama团队更新了用户协议，要求使用其模型进行练习或微调的开发者必须在模型名称中包罗“Llama 3”。
    
  
  
• 未来展望：
  
  
  
  • Llama 3.5系列模型在开源模型中的地位稳固，预计在一段时间内将继续保持领先地位。
    
  • 只管模型性能强盛，但在现实应用中，70B模型已经能够满足大部分需求，405B模型的练习和推理成本较高。
    
  
  

总结来说，Llama 3.5系列模型在性能、架构和应用场景上都有明显的上风，尤其是在开源模型范畴，但其练习和推理成本较高，且与竞争对手Mistral之间存在剧烈的竞争。
预练习数据

1. 预练习的四个关键步调：

• 数据集构建：从互联网上抓取大量数据，涵盖多种来源（如 Common Crawl、GitHub、YouTube等），并进行去重和清洗。
  
• 模型架构与Scaling Law：确定模型巨细和练习数据量，通常需要根据数据和架构进行调整。
  
• 练习过程：大规模练习需要几个月时间，涉及数千张GPU卡，练习过程中需要容灾处理。
  
• 多阶段练习：练习分为多个阶段，每个阶段的目的和数据处理方式可能不同。
  

---

2. 预练习数据的来源与处理：

• 数据来源：
  
  
  
  • 互联网抓取（如Common Crawl、GitHub、YouTube等）。
    
  • 垂直网站（如Meta可能使用Facebook数据）。
    
  • 书籍、代码库（如GitHub）、视频字幕等。
    
  
  
• 数据清洗：
  
  
  
  • 去除重复数据（URL去重、文档去重、行级别去重）。
    
  • 使用MinHash等算法处理大规模文本去重。
    
  • 过滤低质量数据（如广告、导航栏、脏词、PII信息等）。
    
  • 使用分类器（如FastText、Roberta）对数据进行质量打分和分类。
    
  
  
• 特殊数据处理：
  
  
  
  • 代码和数学推理数据的抽取与保存，提拔模型的推理能力。
    
  • 多语言数据的处理，包罗语言分类和去重。
    
  
  

---

3. 数据混合与采样：

• 数据混合比例：
  
  
  
  • 高质量数据（如数学、代码、Wikipedia）需要[[上采样]]，低质量数据（如娱乐、成人内容）需要下采样。
    
  • 最终数据混合比例为：50%通用知识、25%数学和推理、17%代码、8%多语言。
    
  
  
• 多语言数据处理：
  
  
  
  • 多语言数据在互联网中占比较高，但在练习中被下采样，导致Llama 3的多语言能力较弱。
    
  
  

---

4. 退火技术（Annealing）：

• 退火的作用：
  
  
  
  • 在练习后期，使用少量高质量数据（如数学、代码）进行退火练习，提拔模型在特定任务（如数学推理）上的表现。
    
  • 雷同于“考前突击”，通过重新调整学习率，在小规模高质量数据上微调模型。
    
  
  
• 退火的效果：
  
  
  
  • 在GSM8K等数学评测集上，退火技术明显提拔了模型的表现。
    
  
  
• 数据质量评估：
  
  
  
  • 通过退火技术，可以评估新数据源的质量，确定其对模型性能的提拔效果。
    
  
  

---

5. 技术细节与挑衅：

• 数据清洗的复杂性：
  
  
  
  • 数据清洗是一个耗时且资源麋集的过程，涉及大量人工和计算资源。
    
  • 需要根据详细任务和数据特点，定制化处理（如代码、数学公式的抽取）。
    
  
  
• 模型练习的容灾与稳定性：
  
  
  
  • 大规模练习需要处理硬件故障和数据分布变化。
    
  
  
• 数据混合的实验性：
  
  
  
  • 数据混合比例需要通过多次实验确定，没有同一的最佳答案。
    
  
  

---

6. 与竞争对手的对比：

• Llama 3.5在数据质量和练习技术上进行了大量优化，尤其是在代码和数学推理任务上表现突出。
  
• 与Mistral等竞争对手相比，Llama 3.5更注意数据多样性和高质量数据的利用。
  

---

7. 未来改进方向：

• 多语言能力的提拔：当前Llama 3的多语言能力较弱，未来可能需要增加多语言数据的比例和质量。
  
• 数据清洗和处理的进一步优化：通过更精致的数据处理技术，提拔模型在特定任务上的表现。
  

---

总结来说，Llama 3.5 的预练习阶段注意数据质量、多样性和高效利用，通过数据清洗、混合和退火技术，明显提拔了模型在代码、数学推理等任务上的性能。然而，多语言能力仍是其短板，未来可能需要进一步优化。
模型

1. 模型架构概述

• 底子架构：Llama 3 使用了标准的稠密Transformer架构，与之前的版本相比没有本质变化。
  
• 性能提拔来源：
  
  
  
  • 数据质量和多样性。
    
  • 模型规模更大（参数更多）。
    
  • 数据清洗和处理的优化。
    
  
  

---

2. 重要改进点

• Grouped Query Attention (GQA)：
  
  
  
  • 背景：在多头注意力机制（Multi-Head Attention）中，每个头都有自己的Key（K）、Value（V）和Query（Q）。在推理时，K和V需要缓存（KVCache），导致内存占用高。
    
  • GQA的焦点思想：将多个头的K和V分组共享，减少内存占用和计算量。
    
    
    
    • 比方，将8个头的K和V分成4组，每组共享相同的K和V。
      
    
    
  • 优点：
    
    
    
    • 明显减少KVCache的内存占用。
      
    • 减少权重存储和计算带宽。
      
    
    
  • 适用场景：特殊适合大模型（如70B、405B）的推理优化。
    
  
  
• 长序列练习中的掩码优化：
  
  
  
  • 题目：在长序列练习中，一个样本可能包罗多个文档，计算Attention时，不同文档之间的Token不应相互影响。
    
  • 解决方案：在Self-Attention中参加掩码，确保每个Token只与同一文档内的Token计算Attention分数。
    
  • 适用场景：支持更长的上下文窗口（如128K）。
    
  
  
• Tokenizer改进：
  
  
  
  • 辞书巨细：从Llama 2的32K扩展到128K。
    
    
    
    • 100K来自GPT-4的Tokenizer（tiktoken），28K为新增的非英语Token。
      
    
    
  • 优点：
    
    
    
    • 提拔多语言支持能力。
      
    • 减少Token数量，提拔计算服从（比方，一个英文单词从2个Token减少到1.5个Token）。
      
    
    
  
  
• RoPE位置编码优化：
  
  
  
  • 改进：使用更大的超参数（Theta），支持更长的上下文窗口（如32K）。
    
  • 优点：提拔模型对长文本的处理能力。
    
  
  

---

3. 模型规模与参数

• 模型规模：
  
  
  
  • 8B：32层，4096宽度。
    
  • 70B：80层，8192宽度。
    
  • 405B：126层，16384宽度。
    
  
  
• 参数增长规律：
  
  
  
  • 模型巨细与层数成正比，与宽度成平方关系。
    
  • 比方，8B到70B：层数×2.5，宽度×2，总参数增长约10倍。
    
  
  

---

4. Scaling Law（缩放定律）

• 焦点思想：通过小模型的实验结果猜测大模型的性能。
  
  
  
  • 传统Scaling Law：猜测下一个Token的损失（Loss）。
    
  • Llama 3的改进：猜测下游任务（如数学推理）的损失和精度。
    
  
  
• 应用场景：
  
  
  
  • 确定最佳模型规模和练习数据量。
    
  • 比方，给定计算资源（如GPU卡数和练习时间），猜测最优模型巨细（如405B）。
    
  
  
• 实验结果：
  
  
  
  • 在小模型上拟合的Scaling Law能够较正确地猜测大模型的性能。
    
  • 不同任务（如数学推理、代码生成）的Scaling Law曲线不同，需要分别拟合。
    
  
  

---

5. 练习与推理优化

• 练习挑衅：
  
  
  
  • 大规模练习（如405B模型）需要数万张GPU卡，练习时间长达数月。
    
  • 需要处理硬件故障和数据分布变化。
    
  
  
• 推理优化：
  
  
  
  • 通过GQA减少内存占用和计算量。
    
  • 支持更长的上下文窗口（如128K）。
    
  
  

---

6. 与Llama 2的对比

• 重要改进：
  
  
  
  • 引入GQA，优化推理性能。
    
  • 扩展Tokenizer，支持多语言和更高效的Token表现。
    
  • 优化位置编码，支持更长上下文。
    
  • 使用Scaling Law更精准地猜测模型性能。
    
  
  
• 性能提拔：
  
  
  
  • 在多语言、长上下文和推理任务上表现更好。
    
  • 但仍需进一步优化多语言能力。
    
  
  

---

7. 未来改进方向

• 多语言支持：当前多语言能力仍较弱，需进一步优化Tokenizer和练习数据。
  
• 长上下文优化：支持更长的上下文窗口（如100万Token）。
  
• 练习服从：进一步优化大规模练习的稳定性和服从。
  

---

总结

Llama 3 在模型架构上的改进重要集中在推理优化（如GQA）、多语言支持（Tokenizer扩展）和长上下文处理（RoPE优化）。通过Scaling Law，Llama 3 能够更精准地猜测大模型的性能，从而优化模型规模和练习数据量。只管在多语言能力上仍有提拔空间，Llama 3 在推理、代码生成和数学任务上表现明显提拔，进一步巩固了其在开源大模型范畴的领先地位。
Llama 3 练习底子设施与技术细节

1. 硬件架构

• GPU集群：
  
  
  
  • 规模：最大使用 16,000张H100 GPU，每台机器配备8块GPU和2个CPU。
    
  • 网络：
    
    
    
    • 小模型：使用NVIDIA的Infiniband，耽误低但稳定性较差。
      
    • 大模型：使用RDMA over Ethernet，稳定性更高，但需要大量底层优化。
      
    • 带宽：每根光纤支持400Gb/s，网络架构为三层结构，上层交换机带宽为下层的1/7。
      
    
    
  • 存储：
    
    
    
    • 容量：240PB SSD，支持高吞吐量（峰值7TB/s，持续2TB/s）。
      
    • Checkpoint：每个GPU的状态（1MB到4GB）需要快速写入存储系统，支持容灾和快速恢复。
      
    
    
  
  

---

2. 练习任务切分

• 并行策略：
  
  
  • Tensor Parallelism (TP)：
    
    
    
    • 将模型的每一层切分到多个GPU上，每个GPU负责一部分计算。
      
    
    
  • Pipeline Parallelism (PP)：
    
    
    
    • 将模型的不同层分配到不同的GPU上，数据按顺序流过各层。
      
    • 题目：存在“气泡”（Bubble），即GPU空闲等待数据的时间。
      
    
    
  • Data Parallelism (DP)：
    
    
    
    • 将数据切分到多个GPU上，每个GPU计算一部分数据，末了汇总结果。
      
    
    
  • Context Parallelism (CP)：
    
    
    
    • 将长序列（如128K Token）切分到多个GPU上，减少内存占用。
      
    
    
  
  
• 切分策略：
  
  
  
  • 405B模型：使用4D切分（TP、PP、DP、CP），充分利用16,000张GPU。
    
  • 70B模型：仅需TP、PP、DP，无需CP。
    
  
  

---

3. 练习服从与优化

• GPU利用率：
  
  
  
  • 理论值：H100的峰值算力为989 TFLOPS。
    
  • 现实值：到达43%利用率（约400 TFLOPS），在16,000张GPU上表现良好。
    
  
  
• 优化点：
  
  
  
  • 网络优化：针对以太网进行底层优化，提拔All-Reduce和All-Gather操作的服从。
    
  • 数值稳定性：使用FP16进行计算，但在累加时切换为FP32，避免浮点溢出。
    
  • 容灾与恢复：
    
    
    
    • 每2小时保存一次Checkpoint，支持快速恢复。
      
    • 练习过程中均匀每天中断10次，重要原因是GPU和内存故障。
      
    
    
  
  

---

4. 容灾与稳定性

• 故障统计：
  
  
  
  • GPU故障：148次（占31.8%）。
    
  • 内存故障：85次（占18.2%）。
    
  • 其他故障：包罗交换机、光纤、SSD、CPU等题目。
    
  
  
• 恢复策略：
  
  
  
  • 快速隔离故障节点，迁移任务到其他GPU。
    
  • 利用高速存储系统快速恢复Checkpoint，确保有效练习时间到达90%。
    
  
  

---

5. 挑衅与未来方向

• 挑衅：
  
  
  
  • 硬件稳定性：H100早期批次故障率较高，GPU和内存题目频发。
    
  • 网络复杂性：大规模集群的网络架构计划和优化难度大。
    
  • 容灾与恢复：需要高效的Checkpoint机制和快速故障排查能力。
    
  
  
• 未来方向：
  
  
  
  • 异步练习：减少同步等待时间，提拔大规模练习的服从和稳定性。
    
  • 硬件升级：采用下一代GPU（如B100）进一步提拔算力和能效。
    
  
  

---

总结

Llama 3 的练习底子设发挥示了大规模AI模型练习的复杂性和挑衅。通过16,000张H100 GPU、240PB SSD存储和优化的网络架构，Meta成功练习了405B参数的模型。只管在硬件稳定性、网络优化和容灾恢复方面面临诸多挑衅，Llama 3 的练习服从（43% GPU利用率）和容灾能力（90%有效练习时间）仍然到达了业界领先水平。未来，随着硬件升级和异步练习算法的引入，大规模模型练习的服从和稳定性有望进一步提拔。
模型练习过程

1. 预练习阶段

（1）基本学习率调整

• 初始学习率 8E-05，使用 8000步线性warm-up 到最大值。
  
• 之后 使用cosine decay 下降 100倍，最终到 8E-07。
  

（2）批量巨细和序列长度变化

• 初始阶段：batch size 为 400万个token，序列长度 4096。
  
• 中间阶段（252M token）：batch size 增加到 800万，序列长度 8192。
  
• 后期阶段（2.87T token）：batch size 增加到 1600万。
  

（3）练习稳定性

• 练习过程中 小的 batch size 更稳定，随着练习进行，徐徐增大 batch size。
  
• 选择 batch size 是实验的结果，并非固定最佳方案。
  

（4）数据采样调整

• 非英语数据的比例提高，提拔多语言能力。
  
• 数学数据采样增加，提拔数学推理能力。
  
• 新网页数据参加，增强最新信息的明白能力。
  
• 低质量数据下采样，优化团体数据质量。
  

---

2. 长上下文预练习

（1）目的

• 练习阶段使用 8K 上下文，但最终要支持 128K 长上下文。
  
• 需要徐徐扩展，以避免计算资源浪费和模型不稳定。
  

（2）方法

• 徐徐从 8K → 128K，一共 6次扩展，确保模型能稳定处理长上下文。
  
• 采用 大海捞针测试 来评估模型的长文本明白能力。
  

（3）算力挑衅

• Self-Attention 计算复杂度是 O(n²)，使得 128K 练习成本巨大。
  
• 分布式计算策略 需要调整，以适应更长的上下文长度。
  

---

3. 退火（Fine-tuning 收尾阶段）

（1）学习率衰减

• 在 末了4000万个token 上 线性降到 0。
  
• 128K 上下文长度 继续保持。
  

（2）高质量数据采样

• 退火阶段更关注高质量数据，以优化最终性能。
  

（3）模型权重均匀

• 采用多个 final step 的 checkpoint 进行模型权重均匀，提拔稳定性。
  
• 该方法在 CNN 期间用于刷榜（如 ImageNet 竞赛）。
  

---

4. 其他未详细分析的部分

• 数据采样的详细比例和来源未透露（可能涉及版权）。
  
• 数据清洗和处理方式未完全公开，但可以通过实验优化。
  

---

总结

• 模型练习是一个实验驱动的过程，需要不断调整参数，雷同“炼丹”。
  
• 批量巨细、上下文长度、数据质量 徐徐优化，以适应最终任务需求。
  
• 退火阶段 重要用于收尾，确保模型稳定并具备高质量输出能力。
  

这套方法不但适用于 Llama 3，也符合当前主流大语言模型的预练习范式。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。