文章简介
本日介绍的这篇文章是来着港中文大学和CAIR, HKISI-CAS等人发表的题为 "U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation"，中文名可以翻译为“U-KAN：医学图像分割与天生的强大骨干网络”。
该文章提出了一种新的网络架构U-KAN，它将Kolmogorov-Arnold Networks (KANs)集成到U-Net中，用于进步医学图像分割和天生的性能。U-KAN通过在编码器-解码器架构中引入KAN层，增强了模子的非线性建模本领和可表明性。
论文：https://arxiv.org/abs/2406.02918
代码：GitHub - CUHK-AIM-Group/U-KAN: [ArXiv' 24] U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation
拟解决的问题是：现有医学图像分割模子在处置处罚复杂非线性模式时受限，且存在可表明性不足的问题。
以下是文章中涉及的一些关键领域和专业术语：
- U-Net一种常用于医学图像分割的卷积神经网络架构。
- Kolmogorov-Arnold Networks (KANs)基于Kolmogorov-Arnold表示定理的神经网络，一种新型的神经网络布局，使用非线性可学习的激活函数，具有较高的正确性和可表明性。
- Image Segmentation图像分割。
- Diffusion Models扩散模子，通过渐渐添加高斯噪声并在逆过程中去除噪声来天生数据。
- Transformers变动器，一种留意力机制的网络布局。一种基于自留意力机制的模子，可以或许处置处罚序列数据，广泛应用于自然语言处置处罚和计算机视觉。
- MLP (Multi-Layer Perceptron)多层感知机，一种基础的前馈神经网络，由多个线性层和非线性激活函数构成。
- Encoder-Decoder Architecture编码器-解码器架构，一种网络布局，包含编码器用于提取特性和解码器用于重建或天生输出。
- Skip Connections跳跃毗连，网络中毗连不同层的直接路径，有助于梯度流动并减少梯度消散问题。
- Tokenization标记化，将输入序列分解为一系列离散的标记或符号的过程。
- Fréchet Inception Distance (FID)弗雷谢特 inception 隔断，一种衡量天生模子性能的指标，通过比力天生图像和真实图像分布之间的隔断。
择要
U-Net已成为各种视觉应用的基石，例如图像分割和扩散概率模子。只管通过整合变动器或MLP引入了很多创新计划和改进，但这些网络仍然限于线性建模模式以及缺乏可表明性。为相识决这些挑衅，我们受到Kolmogorov-Arnold Networks (KANs)在正确性和可表明性方面取得的印象深刻的结果的启发，这些结果通过Kolmogorov-Anold表示定理派生的非线性可学习激活函数堆叠来重塑神经网络学习。详细来说，在本文中，我们探索了KANs在改善视觉使命骨干方面的未开发潜力。我们通过整合专用的KAN层对既定的U-Net管道进行了调查、修改和重新计划，称为U-KAN。严格的医学图像分割基准验证了UKAN的优越性，即使计算本钱更低，也能获得更高的正确性。我们进一步探讨了U-KAN作为扩散模子中U-Net噪声猜测器的替代品的潜力，展示了其在天生面向使命的模子架构方面的实用性。项目页面：https://yes-u-kan.github.io/。
重要贡献
最近，Kolmogorov-Arnold Networks (KANs)试图以优越的可表明性打开传统网络布局的黑匣子，揭示了白盒网络研究的巨大潜力。考虑到KANs中合并的良好架构属性，有效地使用KAN弥合网络的物理属性和经验性能之间的差距是故意义的。我们开始了对广泛实用的U-KAN框架的探索，标志着首次实验将先辈的KAN整合到UNet的关键视觉骨干中，并得到一种卷积KAN混合架构风格。本文重要贡献如下：
- 我们首次实验整合新兴KAN的优势，改进既定的U-Net管道，使其更正确、高效和可表明。
- 我们提出了一个标记化KAN块，有效地引导KAN操纵符与现有的基于卷积的计划兼容。
- 我们在广泛的医学分割基准上实证验证了U-KAN，实现了令人印象深刻的正确性和效率。
- 将U-KAN应用于现有扩散模子作为改进的噪声猜测器，展示了其在骨干天生使命和更广泛视觉设置中的潜力。
高效嵌入器：KAN
本研究旨在将Kolmogorov–Arnold网络（KAN）整合到U-Net框架中。这一方法的基础是KAN在（Liu et al. 2024e）中概述的高效性和可表明性。包含K层的多层感知机（MLP）可以描述为变动矩阵W和激活函数σ的相互作用：
网络框架
该图展示了所提出的U-KAN的整体架构，遵循一个两阶段的编码器-解码器布局，包括一个卷积阶段和一个标记化Kolmogorov-Arnold网络（Tok-KAN）阶段。输入图像通过编码器传递，此中最初的三个块使用卷积操纵，随后是两个标记化的多层感知器（MLP）块。解码器由两个标记化的KAN块和三个卷积块构成。每个编码器块将特性分辨率减半，而每个解码器块将其加倍。别的，编码器和解码器之间集成了跳跃毗连。卷积阶段和Tok-KAN阶段中每个块的通道数分别由超参数C1至C3和D1至D3确定。
U-KAN架构
卷积阶段
标记化KAN阶段
U-KAN解码器
将U-KAN扩展到扩散模子
实验细节
消融实验结论
KAN层的数量：通过引入KAN层，U-KAN可以或许更好地建模分割细节。研究发现，配置三层KAN层的U-KAN表现最佳，这表明得当数量的KAN层有助于捕捉复杂的分割细节。
KAN层与MLP的比力：为了验证KAN层对模子性能的提升作用，研究用传统的多层感知机（MLP）替换了部分KAN层。结果表现，当KAN层被替换为MLP时，模子在多个使命中的性能明显降落，特殊是在需要强大特性提取的复杂使命中，强调了KAN层的告急性。
模子扩展：研究了U-KAN在不同模子尺寸下的表现，发现更大的模子（具有更多通道数）通常带来更好的性能，这符合模子扩展规律。为了在性能和计算本钱之间取得平衡，研究采用了默认的根本模子配置。
可表明性：通过分析激活模式，研究探讨了KAN层的可表明性。结果表现，与MLP相比，KAN层可以或许更正确地定位感兴趣地区，并与真实标签一致。这表明KAN层在提升模子决策的可表明性方面具有显著作用，特殊是在掩码猜测使命中。
存在问题和将来改进方向
文章提出的方法虽然在多个基准测试中表现优异，但将来可以进一步扩展至更大规模的设置和更高维度的数据格式，如时间序列数据、基因组数据和3D表示
参考文献：Li C, Liu X, Li W, et al. U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation[J]. arXiv preprint arXiv:2406.02918, 2024.
声明：仅作分享，侵权立删！！！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
