问题一：在精排模型训练时，随机丢弃一部分负样本，对训练数据集做降采样，AUC指标险些不变是为什么？如果换另一种采样方式，以 request_id 为单元把同一次哀求没有任何正向举动的全部曝光样本全部丢弃，AUC/WUACU会大幅下降，该如何理解？
精排模型的正负样本数量本来就处于一种不均衡的状态，负样本的数量远远大于正样本的数量，这个模型的学习带来了不小的挑衅。由于如果模型把全部样本都猜测为负样本，准确率（accuracy）也不会很低。二分类模型通常采用交错熵损失函数（也可以理解为负对数损失函数），标准的交错熵损失函数最小化的过程理论上等价于最大化准确率（accuracy）指标。然而，在正负样本极不均衡的情况下，最大化准确率其实并不是业务最关心，由于纵然准确率很高也不能阐明模型的质量很高。因此，推荐模型通常不消accuracy这个metric来度量模型的性能。
业务通常更关心模型是否能够把正样本排在负样本的前面，这就对应了AUC这个metric。
训练过程中，由于模型见过的负样本太多了，对于如何判定一个样本是否是负样本这件事对模型来说得心应手，因此我们丢弃一些负样本，并不能增长模型的学习难度，因此”降采样“也就不会对模型的最终指标有太大的影响。固然，这是创建在随机丢弃一部分负样本的条件上的。
如果负样本不是随机丢弃，而是按照request_id为单元丢弃呢？从用户的粒度来看这个问题，这种降采样方式更为暴力，可能会导致被采样的用户的一大部分负样本被无情移除了，这些用户的正负样本平衡性发生了较大的改变，导致模型难以判定这批用户的真正喜好与讨厌。而在之前随机负采样的时间，这批用户可能仅仅损失了一小份负样本，影响不大。于此相反，现在突然间模型变得”不会“了，没把握了，指标下跌也就可以理解了。
问题二：如何理解机器学习和统计中的AUC？
用途：常常用AUC来评估二分类模型的性能
含义：为什么能评估二分类模型的性能，由于AUC可以看做随机从正负样本中选取一对正负样本，其中正样本的得分大于负样本的概率！
特性：
1、如果将所有的样本的得分都加上一个额外的常数，并不改变这个概率，因此AUC不变
2、AUC对正负样本比例不敏感，用负样本下采样后的测试集计算出来的AUC和未采样的测试集计算的AUC根本一致，大概说前者是后者的无偏估计
AUC的计算：sql计算AUC-CSDN博客
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
