【论文阅读04】端到端目标检测:DETR模型
DETR 论文精读【论文精读】_哔哩哔哩_bilibili一、引入：
1、端到端：DETR模型的焦点思想是将目标检测使命视为一个聚集猜测问题，通过编码器-解码器架构的Transformer模型来实现，制止了传统目标检测方法中必要的如NMS（非极大值克制）等后处理步骤和锚点（anchor）。
2、提出一种全新的基于聚集的丧失函数：通过二分图匹配的方法逼迫模型输出一组独一无二的猜测框，每个物体只会产生一个猜测框，这样就将目标检测问题直接转换为聚集猜测的问题，以是才不用nms，到达端到端的效果；
3、而且在decoder输入一组可学习的object query和encoder输出的全局上下文特征，直接以并行方式逼迫输出终极的100个猜测框，替换了anchor；
4、缺点：对大物体的检测效果很好，但是对小物体的检测效果不不好；训练速度慢
长处：在COCO数据集上速度和精度和Faster RCNN差不多；可以扩展到很多使掷中，比如全景分割
二、根本流程
https://i-blog.csdnimg.cn/direct/14867488527d464e85deab4ae8ccf24f.png
1、CNN提特征
2、特征拉直，送到encoder-decoder中，encoder作用：进一步学习全局信息，为近下来的decoder，也就是末了出猜测框做铺垫
3、decoder生成框的输出，当你有了图像特征之后，还会有一个object query（限定了你要出多少框），通过query和特征在decoder里举行自留意力操作，得到输出的框（文中是100，无论是什么图片都会猜测100个框）
4、loss ：二分图匹配，计算100个猜测的框和2个GT框的matching loss，决定100个猜测框哪两个是独一无二对应到红黄色的GT框，匹配的框去算目标检测的loss
三、基于聚集的目标函数
基于聚集的目标函数怎么做，作者怎样通过二分图匹配把猜测的框和GT框连接在一起，算得目标函数
目标函数部门DETR模型末了输出是一个固定聚集，无论图片是什么，末了都会输出n个（本文n=100）但DETR每次都会出100个输出，但是现实上一个图片的GT的bounding box可能只有几个，怎样匹配？怎样计算loss？怎么知道哪个猜测框对应GT框？
https://i-blog.csdnimg.cn/direct/29d858c336f44bff90d999420f320d8f.png
a,b,c当作100个猜测框，x,y,z当作GT框，丧失矩阵未必都是正方形。丧失矩阵的值应该放些什么？loss包含两部门：分类loss、出框的准确度
二分图匹配是图论中的一个概念，指的是在二分图中找到最大数目的边聚集，这些边连接着两个不同的顶点聚集，并且聚集内的任何两条边都不共享顶点。这种匹配在很多范畴都有应用，例如在使命调理、网络流优化等问题中。而匈牙利算法是解决二分图最大匹配问题的一种有效方法。
四、DETR的结构
https://i-blog.csdnimg.cn/direct/4de964389bf844f6b008f7fa290480ee.png
Object Queries与Transformer Decoder的输出层的交互过程是模型的焦点机制。
五、实验
主要是是消融实验
消融实验（Ablation Study）是科学研究中的一种方法，用于分析和评估模型中各个构成部门或特征对终极效果的影响。在呆板学习和深度学习范畴，消融实验通常涉及以下步骤：
[*] 基线模型：起首定义一个包含全部预期有效组件的基线模型。
[*] 修改模型：逐一或组合地修改模型的某些部门，例如移除一个层、改变超参数、替换一个特征或算法等。
[*] 评估影响：对修改后的模型举行评估，通常利用相同的数据集和评估尺度。
[*] 分析效果：比较不同变体的模型性能，分析哪些修改对效果有正面或负面的影响。
[*] 得出结论：根据实验效果，确定哪些组件或特征是紧张的，哪些可能不是必需的。
消融实验的目标是理解模型的工作原理，识别关键组件，并优化模型设计。通过消融实验，研究人员可以更好地理解不同因素怎样影响模型的性能，从而做出更有信息的决策来改进模型。
水论文本领：DETR太简单，没有利用比较好的目标检测头，以是在小物体上处理不是很好
DETR本质是利用object query替换以前的anchor机制，用二分图匹配替换NMS
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]