qidao123.com技术社区-IT企服评测·应用市场

标题: 一文详解大语言模型的流行架构与训练技能 [打印本页]

作者: 守听 时间: 2025-4-27 05:28
标题: 一文详解大语言模型的流行架构与训练技能
这篇博客全面介绍了大型语言模型（LLMs）的构建流程，从流行架构的选择到现实建模的每个关键步骤。文章首先探究了LLMs的模型架构，然后详细阐述了数据准备过程，包括数据的网络、清洗和去重，接着是关于如何进行有效标记化的讨论。在模型构建方面，博客详细表明了采取自监视学习方法的预训练过程，以及对模型进行指令微调和对齐的重要性。每个环节都被过细地解说，使读者可以或许深入理解LLMs的构建和优化过程。这篇博客为那些对LLMs工作方式感兴趣的读者提供了一个指导。
训练流程示意：

1. 主流的LLM架构

常见架构类型：最广泛使用的LLM架构包括仅编码器、仅解码器和编码器-解码器。
基础架构：大多数LLM架构都基于Transformer（Transformer）作为构建模块。
Transformer架构回首：因此，我们也将在这里回首Transformer架构。

Transformer

开创性工作：Vaswani等人提出Transformer框架，具有里程碑的意义，最初设计用于使用GPU进行有效的并行计算。
焦点机制：Transformer的焦点是（自）注意力机制，相比递归和卷积机制，它可以或许更有效地利用GPU捕捉恒久上下文信息。
Transformer语言模型架构：最初为呆板翻译提出的Transformer语言模型架构，包括一个编码器和一个解码器。编码器由N=6个雷同的Transformer层堆叠构成。每层有两个子层：第一个是多头自注意力层，另一个是简单的逐位置全连接前馈网络。解码器由6个雷同的层堆叠构成。除了编码器层中的两个子层外，解码器还有第三个子层，它对编码器堆栈的输出实行多头注意力。注意力函数可以形貌为将查询和一组键值对映射到一个输出，其中查询、键、值和输出都是向量。输出计算为值的加权和，其中每个值的权重由查询与相应键的兼容性函数计算得出。与实行一个具有dmodel维键、值和查询的单一注意力函数不同，发现将查询、键和值h通过不同的学习线性投影分别映射到dk、dk和dv维是有益的。位置编码被加入以融合有关序列中标记的相对或绝对位置的信息。

仅编码器架构

注意力层特点：在这个家族的模型中，每个阶段的注意力层都能访问初始句子中的全部词语。
预训练方法：这些模型的预训练通常包括以某种方式粉碎给定句子（例如，通过掩盖句子中随机的单词），然后让模型找出或重构初始句子。
适用任务：编码器模型非常适合必要理解整个序列的任务，如句子分类、命名实体识别和抽取式问答。
代表模型：一个突出的仅编码器模型是BERT（Bidirectional Encoder Representations from Transformers。

仅解码器架构

注意力层特点：对于这些模型，每个阶段的注意力层只能访问句子中该词之前的词语。这些模型偶然也被称为自回归模型。
预训练方法：这些模型的预训练通常被构建为预测序列中的下一个词（或标记）。
适用任务：仅解码器模型最适合涉及文本生成的任务。GPT模型是这一种别的突出例子。

编码器-解码器架构

架构特点：这些模型使用编码器和解码器，偶然被称为序列到序列模型。在每个阶段，编码器的注意力层可以访问初始句子中的全部词语，而解码器的注意力层只访问输入中给定词之前的词语。
预训练目的：这些模型通常使用编码器或解码器模型的目的进行预训练，但通常涉及更复杂的内容。例如，一些模型通过用单个掩码特殊词替换文本中的随机文本跨度（可能包含几个词）进行预训练，目的是预测这个掩码词替换的文本。
适用任务：编码器-解码器模型最适合涉及基于给定输入生成新句子的任务，如择要、翻译或生成式问答。

2. 数据清算

数据清算的重要性：数据质量对于基于其训练的语言模型的性能至关重要。数据清算技能，如过滤和去重，已被证明对模型性能有很大影响。
实例研究：作为一个例子，在Falcon40B中，Penedo等人展示了颠末适当过滤和去重的网络数据单独可以构建强大的模型，乃至在性能上显着凌驾在The Pile上训练的开始进模型。只管进行了广泛过滤，他们仍旧从CommonCrawl获取了五万亿个标记。他们还发布了来自REFINEDWEB数据集的6000亿标记的提取物，以及在此基础上训练的1.3/7.5B参数语言模型。
数据精炼过程示意：

图：宏观数据精炼的后续阶段剔除了最初在CommonCrawl中的近90%文档。
2.1 数据过滤

数据过滤的目的是提高训练数据的质量和训练数据的有效性。常见的数据过滤技能包括:

去除噪声：指消除可能影响模型良好泛化本领的无关或噪声数据。例如，可以思量从训练数据中删除错误信息，以降低模型生成错误回应的可能性。质量过滤的两种主流方法包括：基于分类器的和基于启发式的框架。
处理惩罚离群值：识别并处理惩罚数据中的离群值或异常，以防止它们对模型产生不成比例的影响。
处理惩罚数据不平衡：平衡数据集中种别或种别的分布，避免私见，确保公平代表性。这对于负责任的模型训练和评估特殊有效。
文本预处理惩罚：通过去除停用词、标点符号或可能不会显着贡献于模型学习的其他元素，来清洁和标准化文本数据。
处理惩罚含糊性：解决或排除可能在训练过程中混淆模型的含糊或抵牾数据。这可以资助模型提供更确定和可靠的答案。

2.2 数据去重

去重的意义：去重指的是移除数据集中的重复实例或重复出现的雷同数据的过程。重复的数据点可能会在模型训练过程中引入私见，并减少多样性，由于模型可能多次从雷同的示例中学习，可能导致对那些特定实例的过拟合。
改善泛化本领：去重改善了模型对新的、未见过的数据的泛化本领。
大数据集中的重要性：在处理惩罚大型数据集时，去重尤其重要，由于重复数据可能无意中放大了某些模式或特征的重要性。这在NLP任务中尤其相干，由于多样化和具有代表性的训练数据对于构建坚固的语言模型至关重要。
具体方法：具体的去重方法可能根据数据的性子和特定语言模型的训练需求而有所不同。它可能涉及比力整个数据点或特定特征来识别和消除重复数据。在文档层面，现有工作重要依赖于文档之间高级特征（例如n-gram重叠）的重叠比率来检测重复样本。

3 分词

根本概念：分词是将文本序列转换成称为标记的更小部分的过程。只管最简单的分词工具仅基于空格将文本切分成标记，但大多数分词工具依赖于辞书。
辞书外题目（OOV）：在这种情况下，辞书外（out-of-vocabulary，OOV）题目是一个挑衅，由于分词器只能识别其辞书中的词汇。
增加辞书覆盖率：为了增加辞书的覆盖率，用于LLMs的流行分词器基于子词，这些子词可以组合形成大量词汇，包括训练数据中未出现的词汇或不同语言的词汇。
流行分词器简介：以下将形貌三种流行的分词器。

3.1 BytePairEncoding（字节对编码）

算法劈头：BytePairEncoding最初是一种数据压缩算法，使用字节级别的频仍模式来压缩数据。
算法特点：该算法重要实验保持频仍出现的单词的原始形式，并分解不常见的单词。这种简单的范式使得词汇表不会很大，同时也足以代表常见单词。假如训练数据中的后缀或前缀也常见，则频仍单词的形态变化也可以很好地表示。

3.2 WordPieceEncoding（词片编码）

应用模型：这种算法重要用于众所周知的模型，如BERT和Electra。
训练过程：在训练开始时，算法取训练数据中的全部字母表，确保没有任何内容会被标记为UNK（未知）。
算法特点：当模型给出一个无法由标记器标记的输入时，会出现这种情况。这种情况多发生在某些字符无法被标记时。与BytePairEncoding类似，它实验根据频率最大化将全部标记放入词汇表的可能性。

3.3 SentencePieceEncoding（句子片编码）

与前两者对比：只管前两种标记器强大且与空缺标记相比有很多优势，它们仍旧假设单词总是由空格分隔。这个假设并非总是成立，在某些语言中，单词可能会被不必要的空格或乃至是捏造的单词等噪声元素粉碎。
解决题目：SentencePieceEncoding试图解决这个题目。

4. 位置嵌入

4.1 绝对位置嵌入（Absolute Positional Embeddings, APE）

原理与应用：APE用于原始Transformer模型，以保留序列顺序信息。因此，单词的位置信息被添加到编码器和解码器堆栈底部的输入嵌入中。
位置编码的选择：位置编码有多种选择，可以是学习的或固定的。在标准Transformer中，使用正弦和余弦函数来实现这一目的。
重要缺点：使用APE的重要缺点是限制了特定数量的标记。此外，APE无法思量标记之间的相对距离。

4.2 相对位置嵌入（Relative Positional Embeddings, RPE）

方法和实现：RPE通过扩展自注意力来思量输入元素之间的成对链接。RPE在两个层面上被添加到模型中：首先作为键的额外构成部分，然后作为值矩阵的子构成部分。
输入视角：这种方法将输入视为一个带标签和有向边的完全连接图。在线性序列的情况下，边可以捕捉输入元素之间相对位置差异的信息。
剪辑距离：剪辑距离k（）指定了相对位置的最大限制。这答应模型对训练数据中未包含的序列长度进行合理预测。

4.3 旋转位置嵌入（Rotary Position Embeddings, RoPE）

解决题目：RoPE解决了现有方法的题目。学习的绝对位置编码在句子短时可能缺乏泛化性和意义。此外，当火线法如T5的位置嵌入在构建位置之间的完整注意力矩阵方面面临挑衅。
实现方法：RoPE使用旋转矩阵来编码单词的绝对位置，并在自注意力中同时包含显式的相对位置细节。
特点：RoPE带来了一些有效的特性，如灵活应对句子长度、随着相对距离的增加降低词汇依赖性，以及通过相对位置编码改善线性自注意力的本领。GPT-NeoX-20B、PaLM、CODEGEN和LLaMA等模型在其架构中利用了RoPE。

4.4 相对位置偏置（Relative Positional Bias）

背景与概念：这种类型的位置嵌入旨在在推理过程中为比训练中遇到的序列更长的序列提供外推。
实现方法：Press等人提出了带线性偏置的注意力（ALiBi）。他们不是简单地将位置嵌入添加到词嵌入中，而是为查询键对的注意力分数引入偏置，根据它们的距离施加比例处罚。BLOOM模型中利用了ALiBi。

5. 模型预训练

预训练是大型语言模型训练流程的第一步，资助LLMs得到根本的语言理解本领，适用于广泛的语言相干任务。在预训练期间，LLM通常在大量（通常是未标记的）文本上以自监视的方式进行训练。预训练的方法有多种，包括下一句预测，最常见的两种包括下一个标记预测（自回归语言建模）和遮蔽语言建模。
5.1 自回归语言建模

界说与方法：在这种框架下，给定n个标记的序列，模型试图以自回归方式预测下一个标记（偶然是下一序列的标记）。
丧失函数：这种情况下常用的丧失函数是预测标记的对数似然：

适用性：由于框架的自回归特性，仅解码器模型更适合学习完成这些任务。

5.2 遮蔽语言建模

界说与方法：在这种方法中，序列中的一些词被遮蔽，模型训练预测基于周围上下文的遮蔽词。偶然也被称为去噪自编码。
训练目的：假如将序列x中被遮蔽/粉碎的样本表示为，该方法的训练目的可以表示为：

5.3 专家混淆（Mixture of Experts, MoE）

最近趋势：MoE近来在LLM领域也变得非常流行，它答应模型以较少的计算进行预训练，意味着可以在雷同的计算预算下显着扩大模型或数据集的规模。
重要元素：
稀疏MoE层：取代密集前馈网络（FFN）层使用，拥有肯定数量的“专家”（例如8个），每个- 专家都是一个神经网络。实践中，专家通常是FFN，但也可以是更复杂的网络。
门控网络或路由器：决定哪些标记发送给哪个专家。一个标记可以发送给多个专家。路由标记至专家的决策至关重要，路由器由学习的参数构成，并与网络的别的部分同时进行预训练。
图示阐明：下图展示了MoE中使用的Switch Transformer编码器块。

图：Switch Transformer编码器块示意图。它们用稀疏Switch FFN层（浅蓝色）替换了Transformer中的密集前馈网络（FFN）层。
6. 微调和指令微调

微调和指令微调是大型语言模型训练流程中的重要步骤，这些技能展示了微调和指令微调在提高LLMs性能、提拔模型适应特定任务和遵照指令的本领方面的关键作用。
6.1 微调

概念与应用：早期语言模型如BERT使用自监视学习，但无法实行特定任务。为使基础模型实用，必要使用带标签的数据针对特定任务进行微调（监视式微调，SFT）。例如，在BERT原论文中，模型被微调以适应11种不同任务。
微调的影响：只管最新的LLMs不再必要微调即可使用，但它们仍可从特定任务或数据的微调中受益。如GPT-3.5 Turbo在特定任务数据微调后，性能可凌驾GPT-4。

6.2 指令微调

目的与方法：为使LLMs的响应符合通过提示给出的指令盼望，进行指令微调非常重要。这被称为指令微调。例如，Natural Instructions数据集包含任务界说、正/负示例或需避免事项等组件。
效果与比力：通常，颠末指令微调的模型性能优于它们基于的原始基础模型。例如，InstructGPT在大多数基准测试上优于GPT-3。

6.3 Self-Instruct方法

框架与实现：Wang等人提出的Self-Instruct方法，通过引导自身生成来提高预训练语言模型的指令遵照本领。其流程包括从语言模型生成指令、输入和输出样本，然后过滤掉无效或相似的样本，用于微调原始模型。

7. 对齐

7.1 对齐

AI对齐是指引导AI体系朝向人类的目的、偏好和原则的过程。预训练的LLMs，虽然针对词预测，但经常会显现出非预期行为，如生成有毒、有害、误导性和带有私见的内容。
7.2 指令微调

指令微调是使LLMs更接近对齐的一步。然而，在很多情况下，还必要进一步的步骤来改善模型的对齐，避免非预期行为。最新研究表明，除SFT外的进一步对齐重要改善至少7B参数的模型。对于较小的模型，SFT已足够。以下是最流行的对齐方法：
7.3 RLHF和RLAIF

RLHF：基于人类反馈的强化学习（RLHF）使用奖励模型从人类反馈中学习对齐。经调解后的奖励模型可以或许根据人类给出的对齐偏好评分不同输出，并将反馈用于进一步调解LLM。
RLAIF：基于AI反馈的强化学习（RLAIF）将预训练且良好对齐的模型直接连接到LLM，资助它从更大和更对齐的模型中学习。

7.4 DPO

方法与效果：Rafailov等人提出的DPO方法针对RLHF的复杂性和不稳固性提出了新的解决方案。他们使用奖励函数和最优策略之间的映射，表明可以通过单阶段的策略训练精确优化受限奖励最大化题目，本质上在人类偏好数据上解决分类题目。DPO方法稳固、高效、计算轻量，无需拟合奖励模型、在微调期间采样或进行大量超参数调解。DPO微调在控制生成情绪和提高择要响应质量方面凌驾了RLHF。

图：DPO优化人类偏好，避免强化学习。现有方法首先对人类反馈数据集中的提示和对响应对的人类偏好进行奖励模型拟合，然后使用RL找到最大化学习奖励的策略。相比之下，DPO直接针对最佳满意偏好的策略进行优化，具有简单的分类目的，无需显式奖励函数或RL。
7.5 KTO

方法与优势：Ethayarajh等人提出的Kahneman-Tversky优化（KTO）方法，不必要成对偏好数据，只需（x,y）和知识判断y是可取照旧不可取。KTO对齐的模型在1B到30B的规模上体现良好，只管没有使用成对偏好。KTO更适用于现实世界，由于所需数据类型更加丰富。例如，每家零售公司都有大量客户互动数据以及这些互动是成功（例如，购买）照旧失败（例如，未购买）。但他们几乎没有反究竟数据（即，如何将不成功的客户互动转变为成功的）。

图：LLM对齐涉及监视微调，然后优化以人为中心的丧失（HALO）。然而，现有方法必要的成对偏好数据难以获取。相比之下，KTO使用一种更加丰富的数据类型，使其在现实世界中更易于使用。
8. 解码策略

解码是教唆用预训练的LLMs进行文本生成的过程。在处理惩罚输入提示后，标记器将文本中的每个标记转换为相应的标记ID。语言模型随后使用这些ID预测下一个最可能的标记或标记序列。最后，模型产生逻辑值，通过softmax函数转换为概率。已经开发了多种解码策略，包括Greedy Search、Beam Search以及Top-K和Top-P (Nucleus sampling)等采样技能。
8.1 Greedy Search

方法：Greedy Search在每一步选择最可能的标记作为序列中的下一个标记，舍弃全部其他选择。
特点与局限：这是一种简单的方法，但可能会丢失时间上的连贯性和同等性。Greedy Search只思量每一步最可能的标记，忽视了对整体序列的影响。虽然快速，但它可能错过更好的序列，这些序列可能会出如今稍不那么可能的后续标记中。

8.2 Beam Search

方法：与只思量下一个最可能标记的Greedy Search不同，Beam Search在每一步思量了N个最可能的标记，其中N是束的数量。
特点：例如，对于束大小为2且最大长度为5的情况，Beam Search必要跟踪个可能的序列。因此，它比Greedy Search更耗费计算资源。

8.3 Top-K采样

方法：Top-K采样使用语言模型生成的概率分布，从k个最可能的选项中随机选择一个标记。
实现与随机性：假设有6个标记（A, B, C, D, E, F），k=2，且P(A)=30%，P(B)=20%，P©即是P(D)、P(E)和P(F)的12.5%。在Top-K采样中，C、D、E、F被忽略，模型输出A的概率为60%，B的概率为40%。这种方法在选择过程中引入了随机性，同时优先思量最可能的标记。<scripttpe = “math/tex;mode=display”> 温度参数T影响softmax函数生成的概率，使得最可能的标记更具影响力。低温度设置显着改变概率分布，高温度优先思量概率较高的标记。

8.4 Top-P采样

方法与特点：Top-P采样（也称为Nucleus采样）采取与Top-K不同的方法。它选择一个截断值p，使得选定标记的概率之和凌驾p，形成一个“焦点”，从中随机选择下一个标记。这种方法在Top-K标记不具有大概率质量的情况下可能更好。
变化性与多样性：与Top-K不同，Nucleus采样中包含的标记数量不固定，这种变化性通常导致更多样化和创造性的输出，使Nucleus采样在文本生成任务中受接待。

9. 费效比优化训练/推理/适应/压缩

在这部分中，我们回首了一些用于更经济、更高效计算地训练和使用LLMs的流行方法。
9.1 优化训练

为了更经济、更高效地训练LLMs，已经开发了很多框架。这些优化训练框架有助于更经济高效地训练和使用LLMs，降低成本的同时保持或提拔性能。这里我们介绍一些重要的框架。
ZeRO

概述：Rajbhandari等人开发了Zero Redundancy Optimizer（ZeRO），旨在优化内存，显着提高LLMs的训练速度，同时增加可以高效训练的模型大小。
优势：ZeRO消除了数据和模型并行训练中的内存冗余，同时保持了低通信量和高计算粒度。它答应按比例扩大模型大小以适应设备数量，保持高效率。

RWKV

概述：Peng等人提出了Receptance Weighted Key Value（RWKV），结合了Transformers的高效并行训练和RNNs的高效推理。
技能细节：RWKV利用线性注意力机制，可以作为Transformer或RNN进行构建，在训练期间实现并行计算，在推理期间保持恒定的计算和内存复杂度。
架构及时间复杂度比力：

RWKV架构

RWKV与不同Transformers的时间复杂度比力
9.2 低秩适应（LoRA）

概述：低秩适应是一种流行且轻量级的训练技能，显着减少了可训练参数的数量，基于关键洞察：针对特定任务微调的权重与初始预训练权重之间的差异通常体现为“低内在秩”。
实现与优势：使用LoRA训练更快、更节流内存，产生更小的模型权重，易于存储和共享。LoRA基于低秩矩阵可以表示为两个较小矩阵的乘积这一究竟，通过专注于更新这两个较小矩阵而非整个原始权重矩阵，显着提高了计算效率。
技能细节：对于预训练的权重矩阵，LoRA通过低秩分解约束其更新：，其中，，且秩。在训练期间，被冻结，而和包含可训练参数。
重参数化示意：

图：LoRA的重参数化过程。
9.3 知识蒸馏

概述：知识蒸馏是从更大模型中学习的过程，通过将多个模型的知识蒸馏到一个更小的模型中，创建可在边缘设备上使用的更小模型。
蒸馏方法：知识蒸馏通常包括响应蒸馏、特征蒸馏和API蒸馏。响应蒸馏专注于教师模型的输出，教导学生模型实行类似的操纵；特征蒸馏使用中间层，以便为学生模型创建更好的内部表示；API蒸馏是使用API训练更小的模型，类似于响应蒸馏。
蒸馏框架示意：

图：具有学生和教师的通用知识蒸馏框架。
9.4 量化

量化是减少模型大小和提拔运算速度的关键技能。在深度学习的焦点，是一系列应用于具有特定精度的模型权重的数学函数。降低权重的精度可以用于减小模型大小，并使其运算更快。例如，与Int-8操纵相比，Float-32操纵更慢。量化可以在不同阶段应用。
重要量化方法：

分类：模型量化的重要方法可分为训练后量化和量化感知训练。
训练后量化：关注于量化训练好的模型，有两种闻名方法：动态和静态。动态训练后量化在运行时计算量化范围，与静态相比力慢。
量化感知训练：在训练过程中加入量化标准，训练和优化一个量化模型。这种方法确保最终模型具有良好性能，且不必要在训练后进行量化。

结束语

一、大模型全套的学习门路

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，必要体系的方法和连续的积极。既然要体系的学习大模型，那么学习门路是必不可少的，下面的这份门路能资助你快速梳理知识，形成自己的体系。
L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化摆设

一般把握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战黑白常苛刻的。建议平凡人把握到L4级别即可。
以上的AI大模型学习门路，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技能实现、行业应用等多个方面。无论您是科研人员、工程师，照旧对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技能的飞速发展，AI大模型已经成为了当今科技领域的一大热门。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成本领，正在改变我们对人工智能的熟悉。那以下这些PDF籍就黑白常不错的学习资源。

四、AI大模型商业化落地方案

作为平凡人，入局大模型时代必要连续学习和实践，不绝提高自己的技能和认知水平，同时也必要有责任感和伦理意识，为人工智能的健康发展贡献力气。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)