读论文《Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesi
论文题目：Hi-Net:用于多模态磁共振图像合成的混合融合网络论文地点：arxiv
项目地点：github
原项目可能在练习的时间陈诉version的错，这是因为生成器和辨别器的优化有些逻辑错误，会改的话多加一个生成操作可以办理，项目已复现，看情况是否更新，
各人有题目可以留言
目的：通过融合多模态数据来提高模型性能，特别是在数据质量较差和患者退出频繁，难以为每个患者网络全部模态的情况下。
择要：
磁共振成像(MRI)是一种广泛使用的神经成像技术，可以提供差别对比度(即模式)的图像。究竟证实，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和患者频繁退出，网络每个患者的全部模式仍然是一个挑战。医学图像合成是一种有效的办理方案，它从现有的图像中合成缺失的图像。在本文中，我们提出了一种用于多模态磁共振图像合成的新型混合融合网络(Hi-Net)，它学习从多模态源图像(即现有模态)到目的图像(即缺失模态)的映射。在我们的Hi-Net中，使用特定于模态的网络来学习每个单独模态的表现，并使用融合网络来学习多模态数据的共同潜在表现。然后，设计一个多模态合成网络，将潜在表现与每个模态的条理特征紧密结合，作为合成目的图像的生成器。别的，为了有效地利用多模态之间的相关性，提出了一种分层多模态融合战略，其中提出了混合融合块(MFB)自顺应加权差别的融合战略(即元素求和、乘积和最大化)。大量的实验表明，该模型优于其他开始进的医学图像合成方法。
弁言（Introduction）
[*]论文讨论了医学成像在临床应用中的紧张性，特别是MRI技术。
[*]MRI有多种模态，每种模态捕获了差别的解剖学特征。
[*]结合多种模态可以提供更全面的数据集，有助于改善医学任务。
相关工作（Related Works）
[*]论文回首了跨模态合成、医学图像合成和多模态学习的相关研究。
[*]介绍了基于生成对抗网络（GAN）的跨模态合成方法。
[*]讨论了医学图像合成中的深度学习方法。
方法（Methodology）
https://i-blog.csdnimg.cn/direct/110f00d056864a79b532ea6295791f7b.png
Hi-Net包括三个主要构成部分:模态特定网络（上下的蓝色）、多模态混合网络（中心左边深蓝）和多模态合成网络（中心右边肤色）。
模态特定网络用于学习模态特定属性，
多模态融合网络旨在学习多个模态之间的相关性。
多模态综合网络由生成器和鉴别器构成，其中生成器网络对目的图像进行综合，鉴别器对合成图像和真实图像进行区分。
1. 模态特定网络（Modality-specific Network）
[*]每个模态（例如T1、T2等）都有一个特定的网络，用于学习该模态的表现。
[*]该网络采用自编码器结构，目的是使用学习到的高层特征表现来重建原始图像。
[*] https://i-blog.csdnimg.cn/direct/457f3d5e78cb4f7295ab6d6212dd7020.png 可以找到模态特定网络的具体阐明，使用一个3 × 3的过滤器，stride为1,padding为1，还加入了批归一化，之后分别在编码器和解码器中使用LeakyReLu和ReLu激活函数。池化和上采样层使用2 × 2滤波器。
[*]重建损失函数使用ℓ1范数来衡量原始图像和重建图像之间的差别。
[*]重构损失函数:重构损失提供了侧输出监督，以包管特定于模态的网络学习到每个单独模态的鉴别表现
[*]https://i-blog.csdnimg.cn/direct/01b6975457cf4d03b991dab56035dfdd.png
2. 多模态融合网络（Multi-modal Fusion Network）
[*]提出了一种逐层融合网络，用于在差别层（例如，浅层和高层）之间有效利用差别模态的相关性。
[*]引入了混合融合块（Mixed Fusion Block, MFB）来自顺应地加权差别模态的输入。
[*]MFB模块结合了逐元素求和、逐元素乘积和逐元素最大化这三种融合战略，并通过卷积层自顺应地加权这些融合效果。
[*] https://i-blog.csdnimg.cn/direct/c014de60e7d94c91aa350946f811f504.png MFB模块的结构(其中“+”、“x”、“Max”和“c”分别表现元素求和、元素乘积、元素最大化和毗连操作)。
3. 多模态合成网络（Multi-modal Synthesis Network）
[*]使用生成对抗网络（GAN）模型来合成目的模态图像。生成器（Generator）G'实验从输入Fn生成图像，而鉴别器（Discriminator）D试图区分生成的图像和真实图像。
[*]生成器的目的函数包括误导鉴别器的第一项和使用ℓ1范数衡量生成图像与真实图像差别的第二项。
[*]鉴别器的输入是与生成器输出巨细雷同的2D图像，其架构包括多个卷积层。
4. 损失函数（Loss Function）
[*]生成器的损失函数结合了对抗性损失和重建损失，其中对抗性损失使生成的图像尽可能真实，而重建损失确保生成的图像与真实图像在像素级上相似。
[*]https://i-blog.csdnimg.cn/direct/d013ccd7eee647a78ee2e997c09190b0.png
[*]鉴别器的损失函数是一个尺度的GAN损失，旨在正确分类真实和生成的图像。
[*]https://i-blog.csdnimg.cn/direct/58aaa3006b6740be9acae847ade612c1.png
[*]https://i-blog.csdnimg.cn/direct/78ff9adfe9f24937a8cc18da5b37a9ac.png
5. 端到端框架（End-to-End Framework）
[*]整个Hi-Net框架是端到端的，包括模态特定网络、多模态融合网络和多模态合成网络。
[*]通过这种方式，模型可以在差别模态之间学习共享和特有的表现，同时利用它们之间的相关性来提高合成图像的质量。
实验设置（Experimental Settings）
[*]使用BraTs2018数据集，包罗285名患者的多模态MRI扫描。
[*]数据集包括T1、T1c、T2和Flair模态，每种模态的体积巨细为240×240×155。
[*]实验中使用了2D轴向平面切片，并进行了数据增强。
实验效果与讨论（Experiments and Results）
[*]论文展示了使用差别方法合成Flair、T2和T1模态图像的定性比力效果。
[*]提供了定量评估效果，包括PSNR、NMSE和SSIM等指标。
[*]Hi-Net在全部比力任务中均优于其他方法。
结论（Conclusion）
[*]Hi-Net是一个有效的多模态MRI图像合成方法，可以或许合成高质量的目的模态图像。
[*]未来的工作将探索合成图像作为数据增强的可能性。
https://i-blog.csdnimg.cn/direct/340b803fb9ad4243853421653c4159c1.png
https://i-blog.csdnimg.cn/direct/6f360a9a8b2c4e209bcecc8d7c14ea14.png
https://i-blog.csdnimg.cn/direct/9f4973399b124260ba672c7e0ff2d604.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]