AI小白的第十天：影响模子泛化本领的因素以及对策

之前写了两次识别手写数字的模子练习，模子对我自己手写图片的识别结果总是不尽人意。
厥后相识到，模子在练习中命中率高，但是实战命中率差，就可能是出现了过拟合跟欠拟合的环境。

---

泛化本领差的缘故因由

过拟合

过拟合就是模子太贴近于练习数据，而无法实用于真实天下的数据。
常用对策就是加大练习数据集。对于数据有限的环境，可以给数据添加噪声等，尽可能增长数据量和多样性。
欠拟合

欠拟合就是模子的学习本领差，无法从测试数据中找到数据的特性的规律。
常用的对策就是进步模子的复杂度。但比不是越复杂越好。

---

练习策略

k折交叉验证 k-fold cross-validation

提前停止 earlystopping

Early Stopping 就像考试时的「主动交卷体系」——当发现模子在练习题（验证集）上连续几次考不出更高分时，就果断停止练习，防止过度刷题导致死记硬背（过拟合）。

正则化 generalization

(1) L1 正则化（Lasso Regression）

L2正则化（岭回归/Ridge Regression）

范数处罚 （Norm Penalty）

权重衰减 （Weight Decay）

Dropout方法

Dropout通过在练习阶段随机抛弃(drop)一部分神经元（将其输出置零），迫使网络不依赖任何单个神经元，从而提升模子的泛化本领。
当模子在练习集表现明显优于验证集时，优先尝试增长Dropout。当代架构（如Transformer）中，Dropout仍是防止过拟合的关键组件。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。