大语言模子 12 - 从0开始练习GPT 0.25B参数量 MiniMind2 增补 练习开销 练 ...

写在前面

GPT（Generative Pre-trained Transformer）是现在最广泛应用的大语言模子架构之一，其强盛的天然语言理解与生成本领背后，是一个庞大而风雅的练习流程。本文将从宏观到微观，系统解说GPT的练习过程，包括数据收集、预处置惩罚、模子设计、练习策略、优化本领以及后练习阶段（微调、对齐）等环节。
我们将先对 GPT 的练习方案进行一个简述，接着我们将借助 MiniMind 的项目，来完成我们本身的 GPT 的练习。
练习阶段概览

GPT 的练习过程大致分为以下几个阶段：

• 数据准备（Data Preparation）
  
• 预练习（Pretraining）
  
• 指令微调（Instruction Tuning）
  
• 对齐阶段（Alignment via RLHF 或 DPO）
  
• 推理摆设（Inference & Serving）
  

项目履历

练习开销

● 时间单位：小时 (h)。
● 本钱单位：人民币 (￥)；7￥ ≈ 1美元。
● 3090 租卡单价：≈1.3￥/h（可自行参考及时时价）。
● 参考标准：表格仅实测 pretrain 和 sft_mini_512 两个数据集的练习时间，别的耗时根据数据集巨细估算（可能存在些许出入）。
作者对于本钱的计算如下：

这是作者进行测试的结果：

✨仅价值3块钱本钱的MiniMind-Zero并不是噱头！Chat测试：