1.LLM基础架构范例
- Dense Transformer
- MoE (Mixture of Experts) Transformer
- Hybrid-MoE Transformer
2.Transformer按照编码方式分类
- 单向自回归模子 (如早期GPT系列)
- 双向模子 (如BERT)
- 编码器-解码器模子 (如BART, T5)
Dense Transformer
Dense Transformer的优势是什么
Dense Transformer的主要优势：
- 布局简单直观 - Dense Transformer接纳的是原始论文"Attention is All You Need"中描述的传统transformer架构，包含编码器-解码器层的基本布局。
- 模子质量可预期 - 通过增长模子规模（参数量），可以直接提拔输出质量。这种关系比力线性和可预测。
- 架构成熟可靠 - 作为最早提出的transformer架构，Dense Transformer已经经过了充实的验证和优化，有大量的实践履历可以参考。
不过文章也指出了Dense Transformer的一个主要限制:由于多头注意力机制的二次方复杂度，在相同参数量下扩展Dense Transformer架构的计算本钱会比力高。这也是为什么后来发展出了MoE和Hybrid-MoE这样的改进架构。
从文章末了的实验对比来看，在600M参数规模下，Dense模子的吞吐量(18k tps)确实低于MoE(34k tps)和Hybrid-MoE(27k tps)架构。不过在交织熵损失和困惑度等指标上，三种架构的体现相差不大。
这阐明Dense Transformer固然计算效率不如新型架构，但其性能体现依然可靠，仍然是一个值得考虑的基础架构选择。
MoE和Hybrid-MoE的改进
MoE和Hybrid-MoE的改进主要围绕两个核心方向：提拔计算效率和优化规模扩展能力。让我具体分析一下：
MoE (Mixture of Experts) 的改进方向：
- 使用稀疏的前馈网络层(称为experts)替代麋集层
- 引入门控网络(router)来决定将哪些token发送给哪些expert
- 只激活top-k个experts来处理惩罚每个token，而不是激活所有参数
- 这种设计让MoE在扩大模子规模时，可以在保持计算本钱相对固定的情况下提拔性能
- 相比Dense Transformer激活所有参数，MoE在推理时只激活有限数量的参数
- 这种特性使得它在计算资源利用上更经济
Hybrid-MoE 的改进方向：
- 解决了MoE中专家选择越多导致的all-to-all通信开销问题
- 通过将残差MoE与dense transformer结合的方式，使练习更快
- 改善了vanilla MoE在小批量时的延迟问题
- 可以或许处理惩罚更大的批量大小，提拔推理速率
从文章的实验数据也能看出这些改进的效果：在600M参数规模下，MoE的吞吐量达到34k tps，Hybrid-MoE达到27k tps，而Dense transformer只有18k tps，证明白这些改进在计算效率上的优势。
特别值得注意的是文章提到的Snowflake Arctic案例，它作为一个Hybrid-MoE模子，通过结合10B Dense transformer和残差128x3.36B MoE transformer，在保持高性能的同时实现了17倍的计算节流，这很好地展示了这些改进架构的潜力。
MoE (Mixture of Experts) Transformer
MoE的优势是什么
MoE (Mixture of Experts)模子有以下主要优势：
- 与相同参数规模的麋集模子相比，MoE可以用更少的计算资源和时间完成预练习
- 在固定计算预算下，可以练习更大规模的模子或使用更大的数据集
- 预练习速率可以提拔4倍以上(如 Switch Transformers 比 T5-XXL 快4倍)
- 固然模子总参数量大，但推理时只激活部分专家网络
- 对于同等参数规模的麋集模子，MoE 推理速率更快
- 比方 Mixtral 8x7B 固然有47B参数,但推理时计算量相当于12B参数的麋集模子
- 由于计算效率高,练习耗能更少
- 比方 GLaM 模子达到 GPT-3 的性能水平,但能耗仅为后者的1/3
- 可以通过调解容量因子(capacity factor)在练习和评估阶段动态调解计算资源使用
- 可以针对差别场景选择激活差别数量的专家
- 差别专家可以专门处理惩罚差别范例的输入
- 编码器专家可以特化于处理惩罚特定范例的 token 或浅层概念
- 适合处理惩罚知识麋集型任务
不过 MoE 也存在一些挑战,比如:
- 需要较大显存来加载所有参数
- 微调时轻易过拟合
- 在小规模数据集上体现不如麋集模子
- 练习时需要处理惩罚负载均衡等问题
MoE的缺点是什么
MoE (Mixture of Experts)模子的主要缺点包括：
- 固然推理时只使用部分专家，但所有参数都需要加载到内存中
- 比方 Mixtral 8x7B 需要足够的显存来容纳47B参数，只管现实计算量只相当于12B参数模子
- 比麋集模子更轻易过拟合，特别是在小规模数据集上
- 在推理任务等需要深度推理的任务上体现较差
- 需要使用差别的超参数设置（如更小的批量大小和更高的学习率）
- 微调时的性能通常不如同等规模的麋集模子
- 存在负载均衡问题，某些专家大概被过度使用
- 需要额外的辅助损失来确保专家被均匀使用
- 练习不稳固性问题，需要特别的稳固化技能（如路由器 Z-loss）
- 在分布式练习时需要大量装备间通信
- 专家并行化会带来额外的通信本钱
- 增长容量因子会增长通信本钱和激活内存
- 由于模子体积大，本地部署困难
- 需要考虑专家调理和负载均衡的问题
- 大概需要使用特别的部署技能（如模子蒸馏、专家聚合等）
- 在数据集较小的任务上轻易过拟合
- 相比之下，在大规模任务上体现更好
- 如果没有精良的路由机制，某些专家大概很少被使用
- 练习过程中轻易出现专家偏好问题
这些缺点使得 MoE 模子更适合大规模、高吞吐量的场景，而在资源受限或小规模应用场景中，麋集模子大概是更好的选择。
#Transformer/思考
我的理解:
姜照旧老的辣，Dense Transformer对于个人大概小企业照旧友好的，上手难度会更低
但是如果你对吞吐量、练习效率有更高的要求，就可以考虑MoE大概Hybrid-MoE，但是上手难度会更高，比如练习轻易过拟合，小数据集体现会欠好，过度使用一些专家等挑战是存在的
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
