IT评测·应用市场-qidao123.com技术社区

标题: 读论文《Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesi [打印本页]

作者: 去皮卡多 时间: 2024-7-27 16:55
标题: 读论文《Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesi
论文题目：Hi-Net:用于多模态磁共振图像合成的混合融合网络
论文地点：arxiv
项目地点：github
原项目可能在练习的时间陈诉version的错，这是因为生成器和辨别器的优化有些逻辑错误，会改的话多加一个生成操作可以办理，项目已复现，看情况是否更新，
各人有题目可以留言
目的：通过融合多模态数据来提高模型性能，特别是在数据质量较差和患者退出频繁，难以为每个患者网络全部模态的情况下。
择要：

磁共振成像(MRI)是一种广泛使用的神经成像技术，可以提供差别对比度(即模式)的图像。究竟证实，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和患者频繁退出，网络每个患者的全部模式仍然是一个挑战。医学图像合成是一种有效的办理方案，它从现有的图像中合成缺失的图像。在本文中，我们提出了一种用于多模态磁共振图像合成的新型混合融合网络(Hi-Net)，它学习从多模态源图像(即现有模态)到目的图像(即缺失模态)的映射。在我们的Hi-Net中，使用特定于模态的网络来学习每个单独模态的表现，并使用融合网络来学习多模态数据的共同潜在表现。然后，设计一个多模态合成网络，将潜在表现与每个模态的条理特征紧密结合，作为合成目的图像的生成器。别的，为了有效地利用多模态之间的相关性，提出了一种分层多模态融合战略，其中提出了混合融合块(MFB)自顺应加权差别的融合战略(即元素求和、乘积和最大化)。大量的实验表明，该模型优于其他开始进的医学图像合成方法。

弁言（Introduction）

论文讨论了医学成像在临床应用中的紧张性，特别是MRI技术。
MRI有多种模态，每种模态捕获了差别的解剖学特征。
结合多种模态可以提供更全面的数据集，有助于改善医学任务。

相关工作（Related Works）

论文回首了跨模态合成、医学图像合成和多模态学习的相关研究。
介绍了基于生成对抗网络（GAN）的跨模态合成方法。
讨论了医学图像合成中的深度学习方法。

方法（Methodology）

  Hi-Net包括三个主要构成部分:模态特定网络（上下的蓝色）、多模态混合网络（中心左边深蓝）和多模态合成网络（中心右边肤色）。
          模态特定网络用于学习模态特定属性，
          多模态融合网络旨在学习多个模态之间的相关性。
          多模态综合网络由生成器和鉴别器构成，其中生成器网络对目的图像进行综合，鉴别器对合成图像和真实图像进行区分。
  1. 模态特定网络（Modality-specific Network）

每个模态（例如T1、T2等）都有一个特定的网络，用于学习该模态的表现。
该网络采用自编码器结构，目的是使用学习到的高层特征表现来重建原始图像。
可以找到模态特定网络的具体阐明，使用一个3 × 3的过滤器，stride为1,padding为1，还加入了批归一化，之后分别在编码器和解码器中使用LeakyReLu和ReLu激活函数。池化和上采样层使用2 × 2滤波器。
重建损失函数使用ℓ1范数来衡量原始图像和重建图像之间的差别。
重构损失函数:重构损失提供了侧输出监督，以包管特定于模态的网络学习到每个单独模态的鉴别表现

2. 多模态融合网络（Multi-modal Fusion Network）

提出了一种逐层融合网络，用于在差别层（例如，浅层和高层）之间有效利用差别模态的相关性。
引入了混合融合块（Mixed Fusion Block, MFB）来自顺应地加权差别模态的输入。
MFB模块结合了逐元素求和、逐元素乘积和逐元素最大化这三种融合战略，并通过卷积层自顺应地加权这些融合效果。
MFB模块的结构(其中“+”、“x”、“Max”和“c”分别表现元素求和、元素乘积、元素最大化和毗连操作)。

3. 多模态合成网络（Multi-modal Synthesis Network）

使用生成对抗网络（GAN）模型来合成目的模态图像。生成器（Generator）G'实验从输入Fn生成图像，而鉴别器（Discriminator）D试图区分生成的图像和真实图像。
生成器的目的函数包括误导鉴别器的第一项和使用ℓ1范数衡量生成图像与真实图像差别的第二项。
鉴别器的输入是与生成器输出巨细雷同的2D图像，其架构包括多个卷积层。

4. 损失函数（Loss Function）

生成器的损失函数结合了对抗性损失和重建损失，其中对抗性损失使生成的图像尽可能真实，而重建损失确保生成的图像与真实图像在像素级上相似。
鉴别器的损失函数是一个尺度的GAN损失，旨在正确分类真实和生成的图像。

5. 端到端框架（End-to-End Framework）

整个Hi-Net框架是端到端的，包括模态特定网络、多模态融合网络和多模态合成网络。
通过这种方式，模型可以在差别模态之间学习共享和特有的表现，同时利用它们之间的相关性来提高合成图像的质量。

实验设置（Experimental Settings）

使用BraTs2018数据集，包罗285名患者的多模态MRI扫描。
数据集包括T1、T1c、T2和Flair模态，每种模态的体积巨细为240×240×155。
实验中使用了2D轴向平面切片，并进行了数据增强。

实验效果与讨论（Experiments and Results）

论文展示了使用差别方法合成Flair、T2和T1模态图像的定性比力效果。
提供了定量评估效果，包括PSNR、NMSE和SSIM等指标。
Hi-Net在全部比力任务中均优于其他方法。

结论（Conclusion）

Hi-Net是一个有效的多模态MRI图像合成方法，可以或许合成高质量的目的模态图像。
未来的工作将探索合成图像作为数据增强的可能性。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)