一、Mamba
论文链接：Mamba: Linear-Time Sequence Modeling with Selective State Spaces
代码链接：https://github.com/state-spaces/mamba
作者：Albert Gu,Tri Dao
发表单位：卡内基梅隆大学、普林斯顿大学
集会/期刊：暂无
Mamba的提出开端于RNN和Transformer自己存在的标题。
RNN的训练过程中当前时间步依靠于前一时间步的盘算，因此不能并行盘算，服从非常低，而布局并不复杂，以是推理速率还可以（线性盘算）；Transformer训练过程是矩阵运算，其训练是可以并行盘算的，服从比力高，但是推理过程是一个词一个词去举行矩阵运算（即已经天生了一些token，当天生下一个token时，仍然须要重新盘算整个序列的留意力），服从比力低。
那么，能不能提出一个训练和推理过程服从都很高的模子呢？这就有了Mamba。
Mamba是SSM（Structured State Space for Sequence Modeling，序列的布局化状态空间，由于有4个S，以是也称为S4）的改进，以是起首要先容一下到底什么是SSM？
1.1 SSM的先容
状态空间模子（State Space Model, SSM）是一种用于形貌动态体系的数学模子，特殊实用于时间序列分析和控制体系筹划。它将体系的状态表现为一个状态向量，并通过状态方程和观测方程形貌体系的动态活动和观测过程。
因此，SSM是可以用于形貌这些状态表现并根据某些输入猜测其下一个状态大概是什么的模子，这就符合了作为深度学习模子根本架构的条件。
SSM的盘算表示图
详细来说，可以用下面的公式形貌上述过程：
状态变量：形貌体系当前状态的变量。状态变量通常是一个向量，包罗体系当前时候的全部信息。
状态方程：形貌体系状态怎样随时间变革，t+1时候的状态变革通常情势为：
此中，xt 是时候 t 的状态向量，A 是状态转移矩阵，B 是控制输入矩阵，ut 是控制输入，wt 是过程噪声。
观测方程：形貌怎样从状态变量得到观测值。通常情势为：
此中，yt 是时候 t 的观测向量，C 是观测矩阵，D 是直接传输矩阵，vt 是观测噪声。
同样，如果简化噪声，状态方程可以表现体系的状态怎样随着时间的推移和输入的变革而变革。
- h(t) 是状态向量，表现体系在时间 t 的状态。
- A 是状态转移矩阵，形貌了体系的动态特性。
- B 是控制输入矩阵，形貌了输入 x(t) 怎样影响状态。
- x(t) 是控制输入向量，表现在时间 t 的外部输入。
- h′(t) 是状态向量对时间 t 的导数，表现状态的变革率。
- y(t) 是输出向量，表现在时间 t 的体系输出。
- C 是输出矩阵，形貌了状态向量 h(t) 怎样映射到输出 y(t)。
- D 是直接传输矩阵，形貌了输入 x(t) 直接对输出 y(t) 的影响。
这个方程表现怎样从状态向量和输入向量盘算体系的输出。
状态方程和输出方程
可以留意到，输入和输出此时都是连续的，但是实际应用到深度学习模子当中，须要举行离散化，比如NLP中的单词token输入，CV中的像素块输入。
这里涉及到一部门数学推理，不外有大学高数知识就可以办理。
离散化的常用方法是通过离散化时间步长 Δt 将连续体系转换为等隔断的离散体系。
零阶保持技能(Zero-order hold technique)
起首，决定体系的离散时间隔断，即每次采样的时间隔断 Δt。
使用零阶保持器（Zero-Order Hold, ZOH，假设在每个采样隔断内输入信号保持稳定）法举行离散化：
现在要求解Ad和Bd，让我们回顾一下简单的线性常微分方程：
这是一个线性齐次微分方程。我们盼望找到一个解 h(t)，它表现体系状态随时间 t 的变革。
对于一阶标量线性常微分方程：
解的情势是：
求解过程如下所示：
大学高数的知识
这个解表现，状态 h(t)在时间 t 处的值是初始状态 h(0) 乘以指数增长（或衰减）因子 。
对于向量和矩阵的环境，我们盼望找到一个雷同的情势。那么，设A是一个矩阵。
因此得到Ad的解：
为了推导 Bd 须要思量在一个离散时间步长内，输入 x(t) 对状态 h(t) 的影响。
求解得到：
右边的第一项很好明白，第二项B那里是设置了一个特解，状态转移矩阵 eA(t−τ) 形貌了体系从时间 τ 到时间 t 的自由相应。积分 ∫0t 累积了全部已往时候的输入对当前状态的影响。
先思量体系状态从 t=kΔt 到 t=(k+1)Δt 的变革。可以表现为：
在零阶保持假设下，输入 x(t) 在时间隔断 [kΔt,(k+1)Δt] 内保持稳定，即 𝑥(𝜏)=𝑥[𝑘] 。如许，积分变为：
为了简化积分，举行变量更换：设 τ=kΔt+s，此中 s 的范围是从 0 到 Δt。积分变为：
留意到 x[k] 是常数，可以提到积分符号外：
于是离散时间输入矩阵 Bd 的界说为：
详细求解过程如下：
配凑的头脑，条件是可逆
从而，就实现了SSM的离散化，如许就可以用在NLP的序列到序列猜测了。
终极求解答案
对应到网络布局图中：
SSM的网络布局图
可以看到，这里的D着实本质就是跳跃毗连，后续讨论的时间我们可以先忽略。
简化的SSM
连续到离散的SSM
Mamba中的状态空间模子盘算服从最大的提升就在于其序列运算可以卷积化，从0时候开始向后推导状态空间模子几个时候后的输出，可以得到如下的情势：
SSM递推
此情势可以由卷积运算得到，筹划得当的卷积核即可将序列运算转化为卷积运算，情势如下所示：
可以把K明白为卷积核，然后内里的值就是卷积核上面的模板。
1.2 SSM的长效依靠——HiPPO矩阵
为了办理RNN中存在的不能对汗青信息保持长效依靠的标题，作者对矩阵A用了特殊的初始化本领（HiPPO矩阵），将迄今为止看到的全部输入信号压缩为系数向量。矩阵 A 构建一个状态表现，可以很好地捕获迩来的token并衰减旧的token。其公式可以表现如下：
1.3 SSM的进化——选择性扫描
然而，SSM在已往不绝没有被器重，Mamba在其根本上举行了优化。
传统状态空间模子的时序布局导致了其输出状态完全依靠有序的输入数据。一旦输入数据增减，大概序次有所变革，那么状态空间模子就无法举行处理处罚。
比如Copy任务
Copy任务是SSM善于的，由于它可以卷积化，卷积的权值共享性子，导致输出肯定不会有变革。
对于增减过、序次打乱过的输入，在一些不干系数据稠浊在序列中出现时，状态空间模子就无法对其举行有效处理处罚。
选择性任务
Mamba针对这一环境举行了改进，在对B C矩阵举行盘算时，参加了选择性机制，即在盘算是引入一个额外的线性层，对输入的输入的控制量和状态量举行选择，加强模子对差别输入情势的顺应本领，算法流程如下图所示。
Mamba的算法改进
在S6中，B、C、Δ 参数都是输入干系的（都是x颠末线性层得到），随着时间变革。这使得模子可以根据输入序列的变革动态调解，从而更好地顺应复杂的时间序列数据。
Mamba模子在推理时，可根据差别的输入数据（x）动态盘算矩阵B、C和步长Δ（映射与随机参数共同决定Δ）的值，但用于这些盘算的参数(即决定怎样盘算这些矩阵和步长的函数或映射)是固定稳定的。这些参数在训练阶段确定，并在推理阶段被重用。
S4和S6的对比
1.4 SSM的进化——并行扫描(parallel scan)
这个重要是盘算上的优化，由于现在Mamba放弃了使用卷积并行盘算，于是自己筹划了一种可以并行运算的方法，讲授泉源于 【陈诉】 Mamba模子及其公式推导_哔哩哔哩_bilibili
盘算流程
表示图
1.5 Mamba的架构
Mamba的架构图
线性投影：
- 提升输入嵌入的维度，捕获更过细、更复杂的特性。
- 将原始输入数据映射到新的特性空间，使后续处理处罚更有效。
卷积利用：
- 提取局部特性，辨认序列中的局部模式和布局。
- 与SSM的恒久依靠捕获本领互为增补，加强模子团体性能。
- 生存和使用上下文信息，防止独立的token盘算，确保上下文信息在处理处罚过程中的通报。
二、Vision Mamba
论文链接：Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model
代码链接：https://github.com/hustvl/Vim
作者：Lianghui Zhu, Bencheng Liao, Qian Zhang, Xinlong Wang, Wenyu Liu, Xinggang Wang
发表单位：华中科技大学、地平线呆板人、北京人工智能研究院
集会/期刊：ICML 2024
2.1 团体流程
ViM的团体框架
可以看到，ViM根本是拿Mamba当Transformer用的，以是可以简单先容一下游程：
起首，将图像 切块，转换为patch，也就是 ，此中(H，W)是输入图像的巨细，C是通道数，P是图像块的巨细，J是patch的数目。
接下来，将xp线性投影到巨细为d的向量，并添加位置嵌入 ：
此中t jp是t的第j个patch， 是可学习的投影矩阵。同时，和ViT一样的是，接纳t cls表现整个patch序列，用于存储末了的猜测分类结果，
然后，patch序列T i-1发送给ViM编码器的第i层，得到输出Tl。末了，要对输出类tokenT 0L举行归一化，将其输入到MLP中得到终极的猜测结果。
原始的Mamba为一维序列而筹划，其不得当须要空间感知明白的视觉任务，因此vim block联合了视觉任务的双向序列建模。
ViM Block的处理处罚流程
序列中的每个元素都会被同时在两个方向（前向和后向）上举行处理处罚，每个方向都大概有差别的状态空间参数。通过这种方式，模子可以或许同时思量到来自序列前端和后端的信息，从而更全面地捕获和使用图像中的空间和上下文信息。
2.2 双向SSM处理处罚流程
步调1: 输入序列尺度化
在处理处罚任何序列之前，起首通过一个归一化层（比方Layer Normalization）对输入序罗列行尺度化处理处罚。这有助于稳固训练过程并改善模子性能。
步调2: 线性投影
尺度化后的序列被线性投影到两个差别的空间x和z，分别用于之后的双向处理处罚和门控机制。这一步调是通过两个差别的线性层实现的，分别对应算法中的Linearx和Linearz。
步调3: 双向处理处罚
处理处罚分为两个方向——正向（forward）和反向（backward），有点像双向LSTM。对于每个方向：
- 卷积处理处罚：先对序列x应用一维卷积（Conv1d），这有助于捕获局部依靠关系。得到的结果为x'。
- 线性变更：然后将卷积后的结果x'进一步通过三个线性层变更得到状态空间模子的三个关键参数：B, C, Δ。这里的Δ通过softplus利用确保其为正值，这是由于它将用于盘算时间尺度转换。
步调4: 状态空间转换和处理处罚
使用转换后的Δ来调解状态空间模子的演化矩阵A和输入矩阵B。实际盘算中，Δ作为一个缩放因子（通过与一个预设的参数矩阵ParameterA相乘）来调解这些矩阵。完成这一变更后，应用状态空间模子盘算终极的输出y。
步调5: 门控和输出归并
正向和反向的输出通过一个门控机制与z空间相乘（使用SiLU函数作为激活函数），然后将两个方向的结果相加，得到终极的序列输出。这一步调通过线性层LinearT和残差毗连完成终极的输出序列。
三、MambaOut
论文链接：MambaOut: Do We Really Need Mamba for Vision?
代码链接：https://github.com/yuweihao/MambaOut
作者：Weihao Yu, Xinchao Wang
发表单位：新加坡国立大学
集会/期刊：暂无
3.1 论文的假设
- 假设1：图像分类不须要SSM，由于该任务既不符合长序列也不符合自回归特性。
- 假设2：SSM 大概对对象检测、实例分割和语义分割有埋伏的利益，由于它们遵照长序列特性，只管它们不是自回归的。
3.2 针对假设的讨论
Attention和RNN的对比
3.2.1 长序列任务的实用性
如上图所示，因果留意力机制会将全部先前令牌的键（k）和值（v）存储为影象。每当新的令牌输入时，它的键和值就会被添加到影象中。这种方式的影象是无损的，意味着没有信息会在转移过程中丢失，因此可以非常正确地生存和使用汗青信息。然而，这种影象方式的缺点在于，随着序列长度的增长，整合旧影象和当前令牌的盘算复杂性也会增长。这使得因果留意力机制可以或许有效管理短序列，但在处理处罚较长序列时大概会遇到困难。
与因果留意力机制差别，RNN类模子通过将全部先前的令牌压缩到一个固定巨细的隐蔽状态h中来处理处罚影象，这个隐蔽状态h充当了影象的脚色。由于这种影象的巨细是固定的，它是有损的，即它不能生存每一个细节，由于新的输入必须不绝地更新这个固定巨细的存储空间。这种有损影象的缺点是它无法与无损影象的留意力模子直接竞争保持全部汗青信息的本领。
然而，RNN类模子在处理处罚长序列方面显现了独特的上风。由于隐蔽状态的巨细固定，与当前输入归并旧影象的复杂度保持稳定，不会由于序列长度的增长而增长。这一特点使得RNN类模子在处理处罚长序列任务时，尤其是在有限盘算资源的环境下，比留意力机制更具有上风。
SSM是类RNN的。因此，SSM的影象本质上是有损的，以是从逻辑上来说它达不到留意力的无损影象。因此，Mamba无法展示其在处理处罚短序列方面的上风，而在这个范畴，留意力很容易表现良好。然而，在涉及长序列的场景中，留意力会因其二次复杂度而动摇。在这种环境下，Mamba 可以显着突出其将内存与当前输入归并的服从，从而顺遂地管理长序列。因此，Mamba 特殊得当处理处罚长序列。
两种Token肴杂模式
只管 SSM的循环性子答应 Mamba 有效地处理处罚长序列，但它引入了一个庞大限定：ht（隐蔽状态）只能访问来自先前和当前时间步的信息（1～t个时间步，如图a的右边）。如上图所示，这种范例的令牌肴杂称为因果模式，可以表述为：
此中xt和yt分别表现第t个token的输入和输出。由于其因果性子，该模式非常得当自回归天生任务。
另一种模式称为Fully-visible模式，此中每个token可以聚合全部先前和后续token的信息（如图a的左边）。这意味着每个token的输出取决于全部token的输入：
此中T表现令牌总数。Fully-visible模式得当明白任务，模子可以立刻访问全部输入。
默认环境下，留意力处于Fully-visible模式，但通过将因果掩模应用于留意力图，它可以轻松变革为因果模式。
由于其循环特性，类 RNN 模子本质上以因果模式运行，如 Mamba 方程 上面所示。由于这种固有特性，类 RNN 模子无法转换为Fully-visible模式。只管 RNN 可以使用双向分支来近似完全可见的模式，但每个分支仍然单独保持因果模式。因此，由于其循环属性的固有限定，Mamba 非常得当须要因果令牌肴杂的任务。
总之，Mamba 非常得当具有以下特性的任务：
- 任务涉及处理处罚长序列；
- 任务须要因果标志肴杂模式。
3.3 视觉任务是否符合上面的2个结论？
3.3.1 是否是长序列？
起首，界说了长序列任务的概念，即处理处罚的数据序列长度超出通例处理处罚范围，给盘算带来显着挑衅。长序列的判定依靠于序列长度与模子处理处罚本领之间的关系。
通过思量一个典范的Transformer块，其多层感知机(MLP)比率为4，分析了盘算复杂度。
假设输入的维度是 L×D（L 是令牌长度，D 是通道或嵌入维数），该块的浮点运算次数(FLOPs，在之前的一篇博客内容中有提到ViT的盘算)为：
从中提取出关于 L 的二次项和线性项的比率：
这个比率用于判定处理处罚的序列是否富足长，即当 L > 6D 时，以为是长序列。为什么这么界说呢？由于当 L > 6D 时，其处理处罚复杂度重要受二次项的影响，而这通常须要特殊的模子架构或优化方法来有效处理处罚。
详细任务分析：
- 图像分类在ImageNet上的应用：对于224x224的输入图像，如果将其切分为16x16的patch，则每张图像分解成196个patch。这个数字远小于长序列的阈值（比方，对于ViT-S模子，阈值为2304），表明ImageNet上的图像分类任务不是一个长序列任务。
- 目的检测和实例分割在COCO上的应用：对于800x1280的输入图像，切分为16x16的patch，产生的令牌数目约为4K，这高出了小型模子的阈值2304，靠近或便是较大模子的阈值4608，因此可以以为是长序列任务。
- 语义分割在ADE20K上的应用：对于512x2048的输入图像，同样切分为16x16的patch，产生的令牌数目也约为4K，同样满足长序列任务的条件。
3.3.2 是否须要因果标志肴杂模式？
视觉辨认被归类为一种明白任务。在这类任务中，模子通常须要对整个图像举行分析，以便捕获和明白图像中的各种视觉元素和它们之间的关系。因此，这些任务不须要因果模式的限定，由于添加这种限定大概会低落模子的性能。比方，当Vision Transformers（ViT）被限定只能使用因果模式时，会观察到其性能显着降落。
BERT和ViT这类模子重要用于明白任务，通常接纳Fully-visible模式，而GPT系列和Image GPT这类模子则更多地用于天生任务，通常接纳因果模式。这表明视觉辨认任务（如图像分类、目的检测等），由于其本质上是明白全局内容的需求，因此更得当使用Fully-visible模式，而不是因果模式。
3.3.3 进一步的假设
- 假设1：在ImageNet上没有须要引入SSM举行图像分类，由于该任务不满足第1点或特第2点。
- 假设2：只管不满足第2点，但仍然值得进一步探索SSM在检测和分割方面的潜力，由于这些任务符合第1点。
3.4 实验验证
MambaOut的网络布局（input的demo是余华老师的小狗头像哈哈）
门控卷积的筹划代码
分辨率为 224x224 时模子在 ImageNet 上的性能
显然，ViM模子的性能还达不到 MambaOut 的程度，更不消说逾越开始进的卷积或卷积留意力肴杂模子了。
使用 Mask R-CNN 在 COCO 上举行对象检测和实例分割的性能。 MAC 是通过输入巨细 800×1280 来丈量的。
UperNet在 ADE20K验证集上的语义分割性能。 MAC 是通过输入巨细 512×2048 来丈量的。
ADE20K 上语义分割的性能趋势与 COCO 上的对象检测雷同。 MambaOut 可以赛过一些视觉 Mamba 模子，但无法与开始进的 Mamba 模子的结果相匹配。
3.5 总结
本文提出结论如下：
- Mamba得当长序列、自回归特性的任务；
- Mamba不得当分类任务，但是在检测和分割上有探索的潜力。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金 |
发表于 2026-2-19 15:43:47