AI小白的第十天：影响模子泛化本领的因素以及对策
之前写了两次识别手写数字的模子练习，模子对我自己手写图片的识别结果总是不尽人意。厥后相识到，模子在练习中命中率高，但是实战命中率差，就可能是出现了过拟合跟欠拟合的环境。
泛化本领差的缘故因由
过拟合
过拟合就是模子太贴近于练习数据，而无法实用于真实天下的数据。
常用对策就是加大练习数据集。对于数据有限的环境，可以给数据添加噪声等，尽可能增长数据量和多样性。
欠拟合
欠拟合就是模子的学习本领差，无法从测试数据中找到数据的特性的规律。
常用的对策就是进步模子的复杂度。但比不是越复杂越好。
练习策略
k折交叉验证 k-fold cross-validation
https://i-blog.csdnimg.cn/direct/9469b30389c24a11aa4bcbb1d013c371.png
提前停止 earlystopping
Early Stopping 就像考试时的「主动交卷体系」——当发现模子在练习题（验证集）上连续几次考不出更高分时，就果断停止练习，防止过度刷题导致死记硬背（过拟合）。
https://i-blog.csdnimg.cn/direct/641ee38ddcef44d6a99902efa839b156.png
正则化 generalization
(1) L1 正则化（Lasso Regression）
https://i-blog.csdnimg.cn/direct/2c9e31e28f8b4d209dc2c50b142abe5e.png
L2正则化（岭回归/Ridge Regression）
https://i-blog.csdnimg.cn/direct/1ca3755f6d664fff8fd50947e73afc33.png
https://i-blog.csdnimg.cn/direct/9dbbf01868f446cd800615f02fa4259e.png
范数处罚 （Norm Penalty）
https://i-blog.csdnimg.cn/direct/ab9fcd048a5f4cacb2e54bea145439a1.png
https://i-blog.csdnimg.cn/direct/5454a46378764a359e0f0e5099674216.png
权重衰减 （Weight Decay）
https://i-blog.csdnimg.cn/direct/56f1fc4e6499446395299da6a4a813a2.png
https://i-blog.csdnimg.cn/direct/9d37cbd6b41b4d72b1ef8a786c5aad36.png
https://i-blog.csdnimg.cn/direct/63de02d1b3b64761abf43c549c9976fa.png
Dropout方法
Dropout通过在练习阶段随机抛弃(drop)一部分神经元（将其输出置零），迫使网络不依赖任何单个神经元，从而提升模子的泛化本领。
当模子在练习集表现明显优于验证集时，优先尝试增长Dropout。当代架构（如Transformer）中，Dropout仍是防止过拟合的关键组件。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]