江明确 | 视觉Transformer与Mamba的创新改进，完善融合（附论文及源码）

本文泉源公众号“江明确”，仅用于学术分享，侵权删，干货满满。
原文链接：视觉Transformer与Mamba的创新改进，完善融合（附论文及源码）
作者：AI引擎
链接：https://mp.weixin.qq.com/s/nVRA0JlkOmSUXpaub1VPTg
本文仅用于学术分享，如有侵权，请接洽背景作删文处理处罚

导读
近来，一种基于状态空间布局的Mamba模子在学术届爆火，该模子实现了线性时间复杂度，并在差别建模任务中优于或匹配Transformers。为了提拔长隔断空间依靠关系的建模本领，作者提出混淆Mamba-Transformer架构(MambaVision)。实行表明，该模子在ImageNet-1K、MS COCO和ADE20K数据集上到达了开始辈的SOTA性能！

论文链接：https://arxiv.org/abs/2407.08083
代码链接：https://github.com/NVlabs/MambaVision
   作者提出了一种新奇的混淆Mamba-Transformer架构，称为MambaVision，这是专门为视觉应用量身定制的。作者的核心贡献包罗重新计划Mamba公式，以增强其高效建模视觉特性的本领。
  别的，作者还对将视觉Transformer（ViT）与Mamba集成的可行性举行了全面的溶解研究。
  作者的结果表明，在Mamba架构的末了几层配备几个自留意力块，大大进步了捕获长隔断空间依靠关系的建模本领。基于作者的发现，作者引入了一系列具有分层架构的MambaVision模子，以满足各种计划标准。
  在ImageNet-1K数据集上的图像分类中，MambaVision模子变体在Top-1正确率和图像吞吐量方面到达了新的开始辈（SOTA）性能。
  在MS COCO和ADE20K数据集上的鄙俚任务，如目的检测、实例分割和语义分割中，MambaVision逾越了划一巨细的架构，并展示了更优的性能。
  代码：https://github.com/NVIabs/MambaVision。
  1 Introduction

在比年来，Transformers [1] 已成为包罗盘算机视觉、天然语言处理处罚、语音处理处罚和呆板人技能在内的差别范畴的实际架构。别的，Transformer架构的多功能性，告急归功于其留意力机制，以及它的机动性，使其非常得当多模态学习任务，在这些任务中集成和处理处罚来自差别模态的信息至关告急。只管这些优点，但留意力机制相对于序列长度的二次复杂度使得Transformers在练习和摆设上的盘算资本很高。近来，Mamba [2] 提出了一种新的状态空间模子（SSM），该模子具有线性时间复杂度，并在差别的语言建模任务中逾越或匹配Transformers [2]。Mamba的核心贡献是一种新奇的选择机制，该机制使得在思量硬件感知的情况下，可以或许有效地处理处罚依靠于输入的长序列。
图1：ImageNet-1K数据集上的Top-1正确性与图像吞吐量。 全部丈量均在A100 GPU上举行，批量巨细为128。MambaVision到达了新的SOTA帕累托前沿。

近来，还提出了几个基于Mamba的 Backbone 网[3; 4]，以使用其在视觉任务中的SSM公式的上风，比方图像分类和语义分割。然而，Mamba的自回归公式固然在必要序次数据处理处罚的任务中有效，但在从完备感受野中受益的盘算机视觉任务中面临限定：（1）与序列数据差别，图像像素不具有类似的序次依靠性。相反，空间关系通常是局部的，必要以更并行和综合的方式思量。因此，这导致处理处罚空间数据时的服从低下（2）像Mamba如许的自回归模子渐渐处理处罚数据，限定了其在一次前向转达中捕获和使用全局上下文的本领。相比之下，视觉任务通常必要明确全局上下文以对局部地域做出正确推测。
Vision Mamba (Vim) [3] 等人提出了修改步伐，比方双向SSM来办理全局上下文和空间明确的不敷。只管双向SSM有潜力捕获更全面的上下文，但由于必要在做出推测之前处理处罚整个序列，它们引入了明显的耽误。别的，复杂度的增长大概导致练习困难、过拟合的风险，而且不愿定能带来更高的正确度。由于这些缺陷，带有Vision Transformer (ViT) 和卷积神经网络 (CNN) 架构的 Backbone 网在差别的视觉任务上仍旧优于最佳的基于Mamba的视觉模子。
在这项工作中，作者体系地重新计划Mamba块，使其更得当视觉任务。作者提出了一种混淆架构，包罗作者提出的公式（即MambaVision混淆器和MLP）以及Transformer块。详细来说，作者研究差别的集成模式，比方以等参数方式将Transformer块添加到早期、中期和终极层以及每隔层。作者的分析表现，在末了阶段使用几个自留意力块可以明显增强捕获全局上下文和长隔断空间依靠的本领。如第5节所示，使用混淆架构也比纯Mamba或基于ViT的模子在图像吞吐量方面有更好的表现。
作者引入了MambaVision模子，该模子由多分辨率架构构成，并使用基于CNN的残差块快速提取较大分辨率特性。如图1所示，MambaVision在ImageNet-1K Top-1正确性和图像吞吐量方面到达了新的SOTA帕累托前沿，高出了Mamba、CNN和基于ViT的模子，偶尔幅度还很大。在如鄙俚任务目的检测和实例分割以及语义分割中，带有MambaVision Backbone 网的模子在MS COCO和ADE20数据集上分别优于划一巨细的对应模子。因此，这验证了MambaVision作为有效 Backbone 网的有效性和多功能性。
据作者所知，MambaVision是初次研究和开辟同时包罗Mamba和Transformers的混淆架构以用于盘算机视觉应用。
作者在这项工作中的告急贡献总结如下：

• 作者引入了一个重新计划的面向视觉的Mamba块，进步了原始Mamba架构的正确性和图像吞吐量。
  
• 作者体系地观察了Mamba和Transformer块的集成模式，并证明在末了阶段整合自留意力块明显进步了模子捕获全局上下文和长隔断空间依靠的本领。
  
• 作者先容了MambaVision，这是一个新奇的混淆Mamba Transformer模子。分层的MambaVision在ImageNet-1K数据集上实现了Top-1和图像吞吐量折衷的新SOTA帕累托前沿。
  

2 Related work

ViT（视觉 Transformer ）：视觉 Transformer （ViT）[5]作为一种替换CNN的有远景的选择出现，使用自留意力层提供更大的感受野。然而，最初ViT缺乏CNN的一些固有上风，比方归纳偏置宁静移稳固性，而且必要大规模的练习数据集才华到达有竞争力的性能。为相识决这些限定，数据高效图像 Transformer （DeiT）[6]引入了一种基于蒸馏的练习计谋，明显进步了分类精度，纵然是在较小的数据集上。在此底子上，LeViT[7]模子提出了一种混淆方法，融入了重新计划的MLP和自留意力模块，这些模块针对快速推理举行了优化，进步了服从和性能。别的，跨协方差图像 Transformer （XCiT）[8]引入了一种转置自留意力机制，有效地建模了特性通道之间的交互，进步了模子捕获数据中复杂模式的本领。金字塔视觉 Transformer （PVT）[9]接纳了一种分层布局，在每个阶段的开始处使用块嵌入和空间尺寸减小，从而进步了盘算服从。同样，Swin Transformer [10]提出了一种分层架构，此中自留意力在局部窗口内盘算，这些窗口会移动以实现地域间的交互，均衡局部和全局上下文。Twins Transformer [11]具有空间可分离的自留意力，明显进步了服从。别的，核心 Transformer （Focal Transformer）[12]使用核心自留意力捕获长隔断空间交互的细粒度细节。
Mamba：自从Mamba被引入以来，已经提出了很多积极来使用其在视觉应用中的本领。详细来说，Vim[3]提出使用双向SSM公式，与类似的Mamba公式类似，在这种公式中，标记在前后两个方向上处理处罚，以捕获更多的全局上下文并进步空间明确。然而，双向编码增长了盘算负载，大概会减慢练习和推理时间。别的，有效团结来自多个方向的信息形成一个连贯的全局明确是具有挑衅性的，由于在过程中大概会丢失一些全局上下文。与Vim相比，作者提出的MambaVision使用单一的前向流传和重新计划的Mamba块，可以捕获到短隔断和长隔断的信息，而且在ImageNet Top-1正确性和吞吐量方面明显优于Vim。
EfficientV Mamba[4]提出了一种基于扩张的选择性扫描和跳过采样方法，以高效提取全局空间依靠关系。EfficientVLambda还使用了由SSM和基于CNN的块构成的分层架构，此中SSM用于更大的输入分辨率以更好地捕获全局上下文，而CNN用于较低的分辨率。与EfficientV-Mamba相比，MambaVision在较高分辨率下使用CNN举行更快特性提取，同时在较低分辨率下使用SSM和自留意力捕获短隔断和长隔断空间依靠关系的细粒度细节。作者提出的MambaVision在Top-1正确性和图像吞吐量方面也明显优于EfficientVMamba。
别的，V Mamba[13]引入了一种基于Mamba的通用视觉 Backbone 网络，并配备了交织扫描模块（CSM），该模块实现了一维选择性扫描，并具有扩大的全局感受野。详细来说，CSM模块接纳四向选择性扫描方法（即左上和右下向相反方向）以整合来自全部四周标记的信息并捕获更多的全局上下文。别的，V Mamba在架构上举行了更改，如使用深度卷积和分层多分辨率布局。只管CSM模块的计划更得当视觉任务，但其感受野仍旧受到跨扫描路径的限定。与V Mamba相比，作者提出的MambaVision混淆器的计划更简朴，可以捕获短隔断和长隔断依靠关系。MambaVision还使用基于CNN的层举行快速特性提取，而不是在全部阶段使用类似的块布局。别的，MambaVision模子在具有明显更高图像吞吐量的同时，性能也优于V Mamba对应模子。
3 Methodology

Macro Architecture

Micro Architecture

在本节中，作者起首回首了Mamba和SSMs的底子知识。然后作者分阶段展示了第3和第4阶段的微架构计划，并详细讨论了MambaVision的公式化表述。
3.2.1 Mamba Preliminaries

图3：MambaVision块的架构。除了用它们的通例对应物更换因果卷积层外，作者还创建了一个没有SSM的对称路径作为标记混淆器，以增强全局上下文的建模。

3.2.2 Layer Architecture

4 Experiments

图像分类实行是在ImageNet-1K数据集[19]上举行的。作者依照了先前工作的标准练习方法[10; 12; 29]，以便对差别模子的性能举行比力分析。详细来说，全部模子都颠末300个周期的练习，使用余弦衰减调治器，并分别使用额外的20个周期举行预热和冷却阶段。别的，作者使用了LAMB优化器[30]，全局批量巨细为4096，初始学习率为0.005，权重衰减为0.05。作者留意到，使用LAMB优化器相比于传统的AdamW[31]可以得到更好的结果，特殊是由于它对较高学习率的鲁棒性。作者在分类任务中使用了32个A100 GPU。
为了评估鄙俚任务的性能，作者将预练习的模子作为目的检测和实例分割以及语义分割任务的 Backbone 网络，并分别使用了MS COCO数据集[32]和ADE20K数据集[33]。详细来说，对于目的检测和实例分割，作者使用了Mask-RCNN[34] Head ，并设置了如x3 LR筹划、初始学习率为0.0001、批量巨细为16、权重衰减为0.05等超参数。对于语义分割，作者使用了UperNet网络[35] Head 和Adam-W[31]优化器，初始学习率为6e-5，全局批量巨细为16。作者在全部鄙俚任务中使用了8个A100 GPU。
5 Results

Image classification

在表1中，作者展示了ImageNet-1K分类的结果。详细来说，作者与差别范例的模子眷属举行了比力，如基于卷积的、基于Transformer的、卷积-Transformer混淆的以及基于Mamba的模子，并展示了作者的模子在ImageNet Top-1正确率和图像吞吐量方面高出了此前的结果。比方，与盛行的模子如ConvNeXt和Swin Transformers相比，MambaVision-B（84.2%）分别高出了ConvNeXt-B（83.8%）和Swin-B（83.5%），同时在图像吞吐量上也有明显上风。与基于Mamba的模子相比，作者也观察到了类似的趋势。详细来说，MambaVision-B（84.2%）只管图像吞吐量显着更高，但性能还是高出了V Mamba-B（83.9%）。作者还想指出，固然作者告急的计划目的是正确性与吞吐量的衡量，但MambaVision模子变体与划一巨细的模子相比，FLOPs要低得多。比方，MambaVision-B的GFLOPs比MaxViT-B少了56%。

Object Detection and Segmentation

作者在表2中展示了在MS COCO数据集[32]上的目的检测和实例分割结果。特殊地，作者练习了差别检测尺寸的模子，以进一步验证MambaVision在差别场景下的有效性。作者还留意到，作者的目的并非要在这些任务上到达开始辈水平，而是要比力作者的主干网络与同尺寸的盛行视觉主干网络的表现，并验证其有效性。使用简朴的Mask-RCNN检测Head，作者预练习的MambaVision-T主干网络在box AP和mask AP方面分别到达了46.4和41.8，高出了ConvNeXt-T [20]和Swin-T [10]模子。使用级联Mask-RCNN网络，MambaVision-T、MambaVision-S和MambaVision-B均高出了竞争模子。详细来说，在box AP和mask AP方面，MambaVision模子分别比ConvNeXt-T高出+0.2和0.2，比ConvNeXt-B高出+0.1和0.1。同样，在box AP和mask AP方面，MambaVision分别比Swin-T高出+0.6和0.6，比Swin-S高出+0.1和0.2，比Swin-B高出+0.9和0.7。

作者在表3中展示了在ADE20K数据集[33]上的语义分割基准。在这些实行中，作者使用了UPerNet [35]，以便与其他模子举行比力。作者观察到，MambaVision模子在各个变体中均高出了同样尺寸的竞争模子。比方，在mIoU方面，MambaVision-T、MambaVision-S和MambaVision-B分别比Swin-T、Swin-S和Swin-B高出+0.6、+0.6和+1.0。只管作者没有针对鄙俚任务的超参数调解举行大量优化，但这些结果证明了MambaVision作为一个差别视觉任务的有远景的主干网络是可行的，尤其是在高分辨率设置下。

Ablation

6 Conclusion

在本文中，作者引入了MambaVision，这是首个专门为视觉应用计划的Mamba-Transformer混淆骨架。
作者提出了重新计划Mamba公式的方法，以增强全局上下文表现的学习本领，并举行了混淆计划集成模式的综合研究。
MambaVision在Top-1正确性和图像吞吐量方面到达了新的SOTA帕累托前沿，大幅逾越了基于Transformer和Mamba的模子。
作者渴望这些研究结果可以或许成为新型混淆视觉模子的底子。
参考

[1].MambaVision: A Hybrid Mamba-Transformer Vision Backbone.
THE END !

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金