DeepSeek 发布全新开源大模型，数学推理本领超越 LLaMA-2 ...

自从 LLaMA 被提出以来，开源大型语言模型（LLM）的快速发展就引起了广泛研究关注，随后的一些研究就主要会合于训练固定大小和高质量的模型，但这往往忽略了对 LLM 缩放规律的深入探索。
开源 LLM 的缩放研究可以促使 LLM 提高性能和拓展应用领域，对于推进自然语言处置惩罚和人工智能领域具有紧张作用。在缩放规律的指导下，为相识决现在 LLM 缩放领域中存在的不明确性，由 DeepSeek 的 AI 团队发布了全新开源模型 LLMDeepSeek LLM。此外，作者还在这个基础模型上举行了监视微调（SFT）和直接偏好优化（DPO），从而创建了 DeepSeek Chat 模型。
在性能方面，DeepSeek LLM 67B 在代码、数学和推理使命中均超越了 LLaMA-2 70B，而 DeepSeek LLM 67B Chat 在开放性评估中更是超越了 GPT-3.5。这一系列的体现为开源 LLM 的将来发展奠定了一定基础。
论文标题:
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
论文链接:
https://arxiv.org/abs/2401.02954

---

与作为人工通用智能（AGI）新标杆的 LLaMa 相比，本文提出的 DeepSeek LLM：

• 数据集规模：DeepSeek LLM 使用了一个包罗 2 万亿字符的双语数据集举行预训练，这比 LLaMA 的数据集更大。
  
• 模型性能：DeepSeek LLM 在多个基准测试中体现优于 LLaMA，特别是在代码、数学和推理方面。
  
• 模型架构：固然 DeepSeek LLM 在微观计划上主要遵循 LLaMA ，但在宏观计划上有所不同。DeepSeek LLM 7B 是一个 30 层网络，而 DeepSeek LLM 67B 有 95 层。这些层数调整在保持与其他开源模型参数同等性的同时优化了模型的训练和推理。
  
• 可缩放研究：DeepSeek LLM 对模型和数据标准的可缩放性举行了深入研究，并成功地揭示了最优模型/数据缩放分配策略，从而预测了大规模模型的性能。
  
• 安全性评估：DeepSeek LLM 67B 体现良好，能够在实践中提供无害化的回复。
  

预训练

• 数据：为了在确保模型在预训练阶段能够充实学习并获得高质量的语言知识，在构建数据集过程中，接纳了去重、过滤和混合三个基本阶段的方法，来加强数据集的丰富性和多样性。为了提高计算效率，作者还描述了分词器的实现方式，接纳了基于 tokenizers 库的字节级字节对编码（BBPE）算法，使用了预分词化和设置了适当的词汇表大小。
  
• 架构：主要鉴戒了 LLaMA 的 Pre-Norm 结构，此中包罗 RMSNorm 函数，使用 SwiGLU 作为前馈层的激活函数，中间层维度为 ，此外还引入了 Rotary Embedding 用于位置编码。为了优化推理本钱，67B 模型没接纳传统的 Multi-Head Attention（MHA），而是用了 GroupedQuery Attention（GQA）。
  
• 超参数：通过我们的实行证明，使用多步学习率调理程序的最终性能与余弦调理程序基本同等，如图 1(a) 所示，作者还在图 1(b) 中演示了调整多步学习率调理程序不同阶段比例，可以略微提升性能。
  

▲图1 使用不同砚习率调理程序或调理程序不同参数的训练损失曲线
缩放规律及影响

作者通过大量实行，探究了模型和数据大小与计算预算之间的关系。研究发现，随着计算预算的增长，模型性能可以通过增长模型规模和数据规模来预测性地提高。但是，不同数据集对缩放法则有明显影响，高质量的数据可以推动更大模型的训练。
超参数的缩放规律

在这部分，作者研究了 batch size 和学习率的缩放律，并找到了它们随模型大小的变化趋势。图 2 的实行展示了 batch size 和学习率与计算预算之间的关系，为确定最佳超参数提供了经验框架。

▲图2 训练损失关于 batch size 和学习率的变化
如图 3 所示，经验证明，batch size 随计算预算的增长而增长，而学习率则随计算预算的增长而减小。作者指出，他们的研究结果与一些早期研究中提到的观点不同等。这些研究大概认为最佳 batch size 仅与泛化毛病