ResNet改进(12)：添加 NAMAttention 轻量级注意力机制

1.NAMAttention 轻量级注意力机制

NAMAttention (Normalization-based Attention Module) 是一种基于归一化的轻量级注意力机制，它通过利用通道和空间维度上的归一化权重来加强特性表现。与传统的注意力机制如SE、CBAM等相比，NAMAttention具有更简朴的布局和更少的盘算开销。

NAMAttention的核心头脑是通过归一化利用来获取特性图的告急性权重，重要包罗两个关键组件：

  

• 通道注意力子模块：利用批归一化(BN)的缩放因子来权衡通道告急性
    
  
• 空间注意力子模块：利用组归一化(GN)的缩放因子来权衡空间位置告急性
  
  

这种计划克制了传统注意力机制中复杂的全毗连层或大卷积核盘算，使得NAMAttention更加高效。
<hr>  NAMAttention 数学原理
3.1 通道注意力
对于输入特性图 X ∈ ℝ^{C×H×W}，通道注意力权重盘算如下：

  

• 应用批归一化：X_BN = BN(X)
    
  
• 盘算通道权重：W_c = σ(γ_BN *
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告