【AI学习】Mamba学习（一）：总体架构
论文：《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》作者1：Albert Gu，现在是CMU(卡内基梅隆大学)助理教授，曾在DeepMind 工作。多年来不绝推动SSM架构发展。
作者2：Tri Dao，现为普林斯顿大学计算机科学助理教授。Together AI的首席科学家。斯坦福大学计算机科学系博士毕业。
文章地址：https://arxiv.org/abs/2312.00752
项目地址：https://github.com/state-spaces/mamba.
总体架构
先直接来看一下论文的总体架构。Mamba架构是结合了H3和门控MLP两个架构形成的组合架构，下面的图很清楚。
https://i-blog.csdnimg.cn/direct/24cfd5a70acf476d9d4a02cfc0d90bd6.png
架构图：我们的简化块筹划，将H3块（大多数SSM架构的基础）与当代神经网络中无处不在的MLP块相结合。我们只是均匀地重复Mamba块，而不是交织这两个块。与H3块相比，Mamba用激活函数替换了第一个乘法门。与MLP块相比，Mamba在主分支中添加了一个SSM。对于
页:
[1]