弁言
半个月前，Meta发布了他们的开源大模子Llama3.1，在社区中引起广泛关注和讨论。现在几周的时间已往了，热度渐渐退潮，舆论渐渐降温，整个Llama3眷属的技能陈诉也公开出来。陈诉数据更新到了Llama 3.1，正是理性地来审阅一下这款大模子的好时间。
经常有人问怎么去学习大语言模子，有哪些相干技能。我以为模子的技能陈诉就是一个很好的索引。因此，固然网上已经有很多关于Llama 3.1技能陈诉的解读，我决定照旧从另一个视角去看它，把它当作是一次梳理大语言模子相干技能的机遇。
基于这篇 LLama 3.1的技能陈诉，本日我们将从模子参数、底子办法、预练习、后练习这四个方面，来具体的分析Llama3系列模子。渴望各人可以大概耐烦看完，信赖肯定能有所劳绩。
模子参数选择
之前各路媒体，在报道Llama3.1的时间，都喜欢夸大模子高达405B的巨大参数。这个数字固然抢眼，但是我们有没有想过，为什么Llama 3.1要堆云云巨大的参数呢？要知道，现在已经不再是纯粹的规模为王的期间了。如果考略经济效益和便携性，小模子的市场体现也并不会差多少。405B的巨大参数让很多的个人开发者望而却步，即便如许，Llama3.1照旧折腾了一个巨无霸出来。
而这次的技能陈诉就为我们揭破了这背后的缘故原由，那就是Meta渴望通过Scaling Law来确定旗舰模子的最佳巨细。但是存在两个寻衅：一是现有的Scaling Law通常只能推测下一个词的丧失，而不能推测特定基准的性能；二是Scaling Law大概会由于小盘算量的预练习而变得嘈杂和不可靠。
Scaling Law方法
为相识决这些寻衅，Meta 渴望通过一个两阶段的方法来实现可以大概正确推测鄙俚基准性能的Scaling Law。起首，他们必要找到最优模子在鄙俚使命上负对数似然和练习FLOPs之间的相干性。然后再利用Scaling Law模子和利用更高盘算FLOPs练习的旧模子，将鄙俚使命上的负对数似然与基准使命的正确率相干联。
具体做法是如许的：起首包管6 × 10^18 FLOPs到10^22 FLOPs之间的盘算预算，然后在这个预算下，通过预练习模子来构建Scaling Law。在练习过程中，Meta还利用了余弦学习率筹划，预热了2000个练习步调，峰值学习率根据模子的巨细设置在了2 × 10^-4到4 × 10^-4范围之间。别的，还将余弦衰减设置为峰值的0.1，将每一步的权重衰减设置为该步调学习率的0.1倍，范围在250K到4M之间。
实验效果与决定
实验效果产生了如图所示的IsoFLOPs曲线，而且这些曲线中的丧失是在单独的验证集上丈量的。Meta 还利用了二度多项式来拟合丈量的丧失值，而且以此来确定每个抛物线的最小值，再将这个最小值称为对应预练习盘算预算下的盘算最优模子。通过这种方法，Meta 就可以利用盘算最优模子来推测指定盘算预算下最佳的练习token数量。
实验效果表现，随着盘算预算的增长，IsoFLOPs曲线在最小值附近变得渐渐平展。这意味着旗舰模子的性能对于模子巨细和练习token 之间的衡量变得相对妥当。基于这个观察效果，Meta 终极决定练习一个具有405B参数的旗舰模子。
硬件架构与底子办法
然而，405B的巨大参数不是说练习就能练习的。Meta还必须找到可以大概稳固运转这个庞然大物的硬件架构和底子办法。Llama 1 和 2 模子是在 Meta 之前的 AI 超等集群上练习的，但是眼下这个超等集群还远远达不到405B的预期目标。
终极，Meta整合了24000多块H100，重新搭建了生产集群，此中16000个用于Llama 3的预练习。全部这些GPU 都运行在 700W 热功耗TDP下，配备了 80GB 的HBM3，利用 Meta 的 Grand Teton AI 服务器平台。每个服务器配备了八个 GPU 和两个 CPU。在服务器内部，八个 GPU 通过 NVLink 毗连。
网络拓扑结构
模子的练习还利用了Arista 7800 互换机和 Minipack2 OCP互换机，采取RoCE网络拓扑结构，通过三层 CLOS 网络毗连。在底层，每个机架托管着 16 个 GPU，分布在两台服务器上，而且通过一个 Minipack2 机架顶部互换机毗连。在中央层，192 个如许的机架通过集群互换机毗连，形成了一个拥有 3072 个 GPU 的 pod，具有完备的双向带宽，确保不会过载。在顶层，同一座数据中央大楼内的八个 pod通过聚合互换机毗连，终极形成了24000个 GPU 的集群。固然现在还比不上马斯克的十万卡集群，但是Meta的这个生产集群也算的上是天下上最贵的集群之一了。
存储体系
GPU还只是这个集群的根本。为了包管大模子可以大概老诚实实地把学到的知识记到脑筋里，Meta 的研究职员还采取了分布式文件体系，构建了 Llama 3 预练习的存储网络。它可以提供高达 240PB 的存储空间，由配备了 SSD 的 7500 台服务器支持，而且支持每秒2TB的一连吞吐量和每秒7TB的峰值吞吐量。通过这一系列的设置，Meta渴望可以大概将查抄点期间的 GPU 停息时间最小化，同时增长查抄点的频率，从而镌汰规复后丢失的工作量。
负载平衡与拥塞控制
现在这个集群算是搭得差不多了，但是巨大的规模也带来了其他寻衅，比如说负载平衡。由于大语言模子的练习会产生大量的网络流量，而这些流量很难利用传统的方法，比如说 等价多路径路由ECMP来举行负载平衡。为相识决这一寻衅，Meta采取了两种技能。
起首，Meta的聚集库会在两个 GPU 之间创建 16 个网络流，而不是仅仅一个，从而镌汰每个网络流的传输量，而且提供更多的网络流举行负载平衡。其次，通过采取增强等价多路径路由E-ECMP协议，对 RoCE 数据包头中额外的字段举行哈希，从而有效地在差别的网络路径上平衡这 16 个网络流。
别的，拥塞控制也是一个大贫苦。在练习的过程中，运行速率慢的服务器会引起一连的拥塞和网络压力，这些征象都会导致练习服从上的消耗。对此，Meta采取了深缓冲deep buffer互换机，在骨干网络上举行了摆设，从而低沉由于聚集通讯模式引发的瞬间拥塞和缓冲，制止了利用像数据中央量化拥塞关照DCQCN如许传统的拥塞控制方法。
练习过程中的寻衅
现在，底子办法息争决方案都预备齐了，对于405B这个巨无霸的练习，Meta可以说是势在必行。然而，意料之外的情况照旧发生了。16000个 GPU练习的复杂性和匿伏故障远远高出了之前更大规模的CPU集群。由于AI模子练习的同步性子，导致整个集群对于故障的容忍度很低，单个GPU的故障大概就必要重启整个作业。
在54天的预练习期间，集群统共履历了466次作业停止。此中，47次是筹划内的停止，告急是主动化的维护利用，比如升级固件、启动作业，大概更新设置和数据集等等。别的419次是不测的停止，此中约莫78%都出于确认的硬件题目，比如GPU或主机组件故障，以及疑似与硬件相干的题目，比如静默数据粉碎和筹划外的主机维护。而GPU的题目又是最多，占全部不测题目标58.7%。
故障诊断与办理
不外，只管履历了大量的故障，在整个练习期间，只有三次故障必要显着的手动干预处理惩罚，别的题目都被主动化处理惩罚给办理了。为了增长有效练习时间，Meta还利用了几套用来快速诊断息争决题目标工具。
起首是Pytorch 内置的 NCCL飞行纪录器，这项技能可以将聚集通讯的元数据以及堆栈信息捕获到环形缓冲区中，从而允许维护职员快速诊断体系挂起以及性能的相干题目，尤其是与 NCCLX 相干的题目。利用这个功能，Meta可以有效地纪录每个通讯变乱以及每个聚集通讯利用的一连时间，而且可以在 NCCLX 看门狗大概心跳检测超时的时间主动导出跟踪数据。
通过在线设置更改技能，Meta还可以在不必要代码重新摆设大概使命重启的情况下，实时而且选择性地启用更复杂的跟踪利用和元数据网络。
NVLink和RoCE混淆网络的调试
别的，由于网络中混淆利用了 NVLink 和 RoCE，使得大规模练习的调试变得很复杂。通过 NVLink 传输的数据通常会通过 CUDA 内核发出 加载和存储利用，而长途 GPU 或 NVLink 毗连中的故障通常会体现为 CUDA内核的加载和存储利用停滞，但是并不会返回明确的错误代码。而通过 NCCLX 与 PyTorch 精密的集成筹划，使得 PyTorch 可以大概访问 NCCLX 的内部状态，追踪相干信息，从而进步了故障检测和定位的速率和正确性。
固然无法完全防止由于 NVLink 故障导致的停顿，但是体系会监控 通讯库的状态，而且在检测到这类停顿的时间主动超时。别的，NCCLX 还会跟踪每个 NCCLX 通讯的内核以及网络运动，而且提供失败的聚集通讯内部状态快照，包罗全部品级之间已完成和待处理惩罚的数据传输。通太过析这些数据，就可以来调试 NCCLX 的扩展题目。
慢节点辨认
有些时间，硬件题目也会导致练习使命变慢，但是不会失败。这是由于采取了同步练习模式，以是单个非常节点会导致全部节点都变慢。为相识决这个题目，Meta还开发了相干的工具，可以从选定的进程组中筛选出有题目标通讯，再通过重点观察几个告急的可疑对象，有效地辨认出慢节点。
情况因素的影响
同时，Meta的练习职员也发现了一个风趣的征象，那就是情况因素对大规模练习性能的影响。在练习405B 模子的过程中，天天中午，吞吐量都会有 1%到2% 的变革。研究职员以为，这大概是由于中午温度升高的缘故原由。
别的，在练习的过程中，当同时启停使命，大概全部 GPU 都在等候 查抄点生存大概聚集通讯完成的时间，大概会导致数以万计的 GPU 同时增长或镌汰功耗，这就会让整个数据中央的电力斲丧瞬间颠簸数十兆瓦，逼近电网的承载极限。而随着模子和集群规模的扩大，这也将是一个一连的寻衅。
模子架构概览
只管集群的运行贫苦不绝，但是Meta终极照旧完成了练习。在全新的生产集群上，Meta练习了一系列的底子模子，统称为 LLaMA 3。这个系列的大模子自然支持多语言、代码、推理和工具利用。此中最大的模子是一个稠密的 Transformer 模子，包罗 405B 参数量，最大可以支持 128K 的上下文长度。这个系列的模子一共包罗 8B、70B 和 405B 3 种规模，以及 LLaMA 3 和 LLaMA 3.1 两个版本。每个版本都了提供 Base 模子和 Instruct 模子。
相比于Llama 2，LLaMA 3 系列模子也利用了GQA，都是 8 个 KV头。此中8B 模子是4个注意力头共享1个 KV头，70B 模子是 8 个注意力头共享 1 个 KV 头，而405B 模子是 16 个注意力头共享 1 个 KV Head。可见GQA 可以显着的镌汰 KV缓存。
熟悉大模子的观众应该清晰，大语言模子的练习一样寻常会包罗两个关键的阶段：一个是预练习Pre-Training，告急处理惩罚下一个token的推测；一个是后练习Post-Training，告急是练习模子在SFT、DPO方面的本领，以及集成新的本领。我们先来谈一下llama 3的预练习阶段。
预练习
在这个阶段，练习用的数据可谓是重中之重。Llama3.1的预练习数据包罗了停止 2023 年末的各种数据源，然后针对每个数据源举行了多次去重和数据洗濯。如许不光可以包管得到高质量的 Token，同时也会删除大量个人身份信息和成人内容。
数据混淆战略
预练习数据中差别数据源的数据混淆比例也是影响模子质量非常关键的因素。为此，论文作者开发了一个分类器，用来对网络数据举行分类。为了确定最佳的数据混淆方案，作者还举行了Scaling Law实验。具体来说，就是在数据混淆上练习几个小模子，然后利用它们来推测大模子在这个混淆比例上的性能。颠末对差别的数据的多次混淆测试，选择出新的数据混淆比例。末了，在这个数据混淆上练习一个更大的模子，评估这个模子在几个关键基准上的性能。
终极数据混淆比例
终极，混淆数据会合包罗约莫 50% 的一样寻常知识token，25% 的数学和推理 Token，17% 的代码 Token，以及 8% 的多语言Token。为了提拔Llama3的多语言本领，Meta团队还练习了一个专门处理惩罚多语言数据的专家模子，同时网络和天生了高质量的多语言指令调优数据，涵盖德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语，而且只管制止利用呆板翻译的数据来微调模子，从而防止翻译腔、大概的名称私见、性别私见以及文化私见。
数据退火技能
论文作者还发现，通过对数据混淆举行退火，也就是在选定域中对高质量数据举行上采样，可以将预练习的 LLaMA 3.1 8B在 GSM8K 和 MATH 评估集上的性能进步 24.0% 和 6.4%。但是，这对 405B 模子的改进很小，阐明405B 模子已经具备了强盛的上下文学习本领和推理本领。与此同时，作者还发现，退火可以资助判断小型特定范畴数据集的代价，这比对每个小数据集举行缩放实验更加有效。
预练习过程
确定好了预练习数据，就可以预备正式开始预练习了。405B 模子的预练习采取了余弦学习率筹划，峰值学习率为 8 × 10^-5，线性预热 8000 步，然后在 1200000 个练习步调内衰减到 8 × 10^-7。研究职员发现在练习初期，利用较小的批量巨细可以进步练习得稳固性，随后再增长批量巨细，从而进步服从。
具体来说，Meta最初利用了4M个token 的批量巨细和 4,096 的序列长度，然后在预练习了 252M 个token之后后，翻倍到 8M 个toekn和 8,192 的序列长度。在预练习了 2.87T 个token之后，再次将批量巨细更加到 16M。Meta 发现这种练习方法非常稳固，丧失峰值很少，而且不必要干预来改正模子练习发散的题目。
后练习
与预练习阶段数据为主差别，后练习阶段的底子则是嘉奖和微调模子，比如利用人类标注偏好数据练习的 嘉奖模子，以及监督式微调 SFT和直接偏好优化DPO。末了的 DPO 模子再用于下一轮的练习。llama3 的后练习统共举行了 6 轮迭代，此中每一轮都会举行SFT和DPO，终极得到了与人类反馈同等的模子。
嘉奖模子练习
基于末了 405B 的查抄点，Meta练习了一个涵盖差别本领的嘉奖模子，而且利用偏好数据举行了嘉奖建模。此中标注被分别成了4个偏好品级，分别是显着更好（significantly better）、更好（better）、略好（slightly better）和委曲更好（marginally better）。具体的数据分布如图所示。
监督式微调（SFT）
接下来，研究职员利用嘉奖模子对人工标注的提示举行了拒绝采样（Rejection Sampling），然后将拒绝采样数据和其他数据源归并，再利用尺度的交织熵丧失对预练习语言模子举行了监督式微调。此中405B模子是在8.5K到9K步的过程中，以10^-5的学习率举行微调。
直接偏好优化（DPO）
在 SFT 之后，Meta进一步利用 DPO 对 SFT 模子举行练习，以便与人类的偏好对齐。相比于PPO，DPO 针对大参数模子的盘算量更少，而且性能更好。别的，为了进步 DPO 练习的稳固性，研究职员还对 DPO 做了一些修改，比如在 DPO丧失中屏蔽特别格式的 Token，而且添加了一个额外的负对数似然丧失项，对被选择的序罗列行正则化，缩放系数为0.2。
模子推理
在后练习竣过后，我们再先容一些关于Llama3模子推理的内容。405B 模子如果想要利用 FP16 推理，至少必要 810GB 的显存，至少要两台装有8个H100的服务器。如果服务器之间有 NVLink 和 NVSwitch 高速互联，可以利用张量并行。而如果服务器之间的带宽比力低，时延比力长，则必要利用流水线并行，然后再利用微批处理惩罚来进步吞吐量。
而405B的FP8 推理，利用 1台服务器即可摆设，因此完全可以采取张量并行的方案。颠末测试，FP8推理不光可以大概让预添补阶段的吞吐量进步50%，而且在解码阶段，也可以大概得到更好的的吞吐量-延长衡量。
结语
至此，我们已经深入探究了Llama 3.1技能陈诉的核心内容。从模子参数的选择到底子办法的搭建，从预练习数据的处理惩罚到后练习阶段的优化，我们全面审阅了这个大规模语言模子的诞生过程。
Llama 3.1的开发不光展示了Meta在人工智能范畴的技能气力，更为整个AI社区提供了宝贵的履历和看法。它的开源性子意味着这些先辈技能将被更广泛地应用和改进，推动整个行业的进步。
然而，我们也要熟悉到，只管405B参数的模子显现了惊人的本领，但在现实应用中，模子的选择还必要思量服从、本钱和具体需求等多方面因素。小型模子在某些场景下大概更具上风。
末了，我想夸大的是，明白这些技能细节对于AI从业者来说至关告急。它不光能资助我们更好地应用现有模子，还能引发我们在未来的AI研发中的创新头脑。渴望通过本次解读，能为各人提供一些有代价的看法和开导。
感谢各人的阅读，我们下期再见！
零底子怎样学习大模子 AI
领取方式在文末
为什么要学习大模子？
学习大模子课程的告急性在于它可以大概极大地促进个人在人工智能范畴的专业发展。大模子技能，如自然语言处理惩罚和图像辨认，正在推动着人工智能的新发展阶段。通过学习大模子课程，可以把握筹划和实现基于大模子的应用体系所需的根本原理和技能，从而提拔本身在数据处理惩罚、分析和决定订定方面的本领。别的，大模子技能在多个行业中的应用日益增长，把握这一技能将有助于进步就业竞争力，并为未来的创新创业提供坚固的底子。
大模子现实应用案例分享
①智能客服：某科技公司员工在学习了大模子课程后，乐成开发了一套基于自然语言处理惩罚的大模子智能客服体系。该体系不光进步了客户服务服从，还显着低沉了人工本钱。
②医疗影像分析：一位医学研究职员通过学习大模子课程，把握了深度学习技能在医疗影像分析中的应用。他开发的算法可以大概正确辨认肿瘤等病变，为医生提供了有力的诊断辅助。
③金融风险管理：一位金融分析师利用大模子课程中学到的知识，开发了一套名誉评分模子。该模子资助银行更正确地评估贷款申请者的名誉风险，低沉了不良贷款率。
④智能保举体系：一位电商平台的工程师在学习大模子课程后，优化了平台的商品保举算法。新算法进步了用户满意度和购买转化率，为公司带来了显着的增长。
…
这些案例表明，学习大模子课程不光可以大概提拔个人技能，还能为企业带来现实效益，推动行业创新发展。
学习资料领取
如果你对大模子感爱好，可以看看我整合而且整理成了一份AI大模子资料包，必要的小同伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给各人发
部门资料展示
一、 AI大模子学习门路图
整个学习分为7个阶段
二、AI大模子实战案例
涵盖AI大模子的理论研究、技能实现、行业应用等多个方面。无论您是科研职员、工程师，照旧对AI大模子感爱好的爱好者，皆可用。
三、视频和册本PDF合集
从入门到进阶这里都有，跟着老师学习事半功倍。
如果二维码失效，可以点击下方链接，一样的哦
【CSDN大礼包】最新AI大模子资源包，这里全都有！无偿分享！！！
😝朋侪们如果有必要的话，可以V扫描下方二维码接洽领取~
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金 |
发表于 2026-2-8 11:24:30