机器学习算法那些事 | TPAMI 2024.9 | FeatAug-DETR：通过特性增强丰富DETR
本文来源公众号“机器学习算法那些事”，仅用于学术分享，侵权删，干货满满。原文链接：TPAMI 2024.9 | FeatAug-DETR：通过特性增强丰富DETRs的一对多匹配
论文标题：FeatAug-DETR: Enriching One-to-Many Matching for DETRs With Feature Augmentation
论文链接：https://ieeexplore.ieee.org/document/10480276
这篇论文提出了一种新方法，通过增强特性（而不仅仅是图像数据）来提升DETR（检测转换器）在目标检测任务中的性能。论文的主要贡献包括：
[*] 一对多匹配的创新：DETR原来接纳一对一匹配计谋，这虽然克制了非极大值抑制（NMS）步骤，但导致正样本监视希罕，进而训练收敛速度较慢。为了解决这个题目，本文提出通过数据增强（DataAug-DETR）和特性增强（FeatAug-DETR）来实现一对多匹配，从而加速训练并提升检测精度。
[*] 特性增强（FeatAug-DETR）：通过在特性层进行增强操纵（如翻转、裁剪等），而不是在图像层进行操纵，淘汰了重复输入差异版本的图像所带来的计算开销。这种增强方式不仅提高了模型的训练服从，还保持了推理阶段的速度不变。
本文通过特性增强计谋提出了一种更高效的一对多匹配机制，相较于传统方法，FeatAug-DETR在淘汰计算量的同时大幅提升了DETR的训练速度和检测效果。这种方法易于集成到现有的DETR架构中，并在多个任务中表现精彩。
1. 现有方法与论文方法对比
下图上部分的流程图表示DETR现有的一对多匹配方法。
现有方法通过增加额外的目标查询（object queries）来实现一对多匹配。每个真实物体会被多个差异的查询匹配，生成多个猜测效果。这些方法通过多组查询来提升正样本的监视，进而加快训练速度。
题目：这种方法需要引入额外的目标查询，增加了计算本钱。
https://i-blog.csdnimg.cn/direct/c80eb4ebd7644d7fac657fd6698ae5aa.png
image-20240919220004081
下半部分的流程图表示特性增强的DETR。
FeatAug-DETR接纳了一种更高效的方式，不是直接增强图像，而是增强特性图。这种方法通过对特性图进行空间变动（如翻转或裁剪）生成多个增强特性版本，并在同一个批次中处理它们，从而实现一对多匹配。
长处：FeatAug-DETR比DataAug-DETR更高效，因为它只需要在模型中运行一次图像，通过增强特性而不是图像，淘汰了重复处理差异版本图像的计算开销。
2. DataAug-DETR和FeatAug-DETR的工作流程
https://i-blog.csdnimg.cn/direct/f918af19ae9f43fd9d5cd2d4c36eff44.png
image-20240919220639043
上图展示了DataAug-DETR和FeatAug-DETR的工作流程，详细阐明白这两种方法如何通过数据增强或特性增强来实现一对多匹配，从而提升DETR模型的性能。
(a) DataAug-DETR：
[*] 图像增强过程：DataAug-DETR起首对输入图像进行多次空间增强操纵（例如翻转和裁剪），生成多个增强版本的图像。在同一个训练批次中，多个增强后的图像会被一起输入到模型中。
[*] 特性提取：这些增强后的图像经过视觉骨干网络（vision backbone）处理，生成对应的特性图。
[*] 匹配与训练：通过在差异增强图像上分配差异的目标查询，模型实现了一对多的匹配。这种方法有用地增加了正样本监视，从而加快了模型训练速度，并提升了检测精度。
(b) FeatAug-DETR：
[*] 特性增强过程：与DataAug-DETR差异，FeatAug-DETR不是对图像进行增强，而是直接对视觉骨干网络输出的特性图进行增强。这种增强包括对特性图进行空间变动（例如翻转或裁剪），从而生成多个增强的特性图版本。
[*] 特性多样性：每个增强后的特性图都包含差异的空间信息，这使得目标查询可以与差异的特性地区进行匹配，进而实现一对多匹配。
[*] 高效性：FeatAug-DETR相比DataAug-DETR更加高效，因为它仅需要在视觉骨干网络中处理一次图像，克制了多次输入增强图像所带来的计算负担。
这两种方法在目标检测任务重实现更好的正样本监视和更快的收敛速度。
3.实验对比
如下图表，图像增强和特性增强，在多个DETR变体中都取得了显著的性能提升。相比于传统的一对一匹配方法，通过特性增强实现的一对多匹配既加快了模型的收敛速度，又提高了检测精度。与DataAug-DETR相比，FeatAug-DETR具有更高的服从。DataAug-DETR虽然也能提升模型性能，但由于其对图像的多次增强处理，计算开销较大。而FeatAug-DETR通过对特性图的增强，淘汰了计算量，同时保持了较高的检测精度。
https://i-blog.csdnimg.cn/direct/4f7f2cd291f6491fb43bcb98ef297625.png
image-20240919221650348
THE END !
文章结束，感谢阅读。您的点赞，收藏，品评是我继承更新的动力。大家有推荐的公众号可以品评区留言，共同学习，一起进步。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]