GRSL好论文|基于SAR-光学影像融合的高效卫星影像云去除网络 ...

论文标题
   Duan C, Belgiu M, Stein A. Efficient Cloud Removal Network for Satellite Images Using SAR-optical Image Fusion[J]. IEEE Geoscience and Remote Sensing Letters, 2024.
  

遥感分析对于获取地球外貌的洞察至关告急。特别是光学图像在都会规划与发展、农业和林业等多种应用中非常有效。然而，这些图像不可制止地会被云层遮挡。比方，根据对中平分辨率成像光谱仪（MODIS）观察的12年研究，全球约67%的外貌被云层污染。云层覆盖给准确测量外貌反射率带来了挑战，从而妨碍了后续的图像分析和处理。
最近，提出了更先辈的方法，如基于物理模型和基于局部-全局上下文的深度学习网络，用于去除薄云。对于厚云，由于其不透明性，厚云去除方法需要辅助信息来恢复被云覆盖的区域。根据用于引导重建的辅助信息，这些方法可以分为四类：基于空间信息的方法、基于时间信息的方法、混合方法和基于合成孔径雷达（SAR）的方法。
基于空间信息的方法利用同一图像中清晰区域的信息来重建被云覆盖的信息。这些方法在处理大面积云覆盖时面临挑战，特别是在具有独特特征的区域，因为在这种情况下，清晰区域提供的有用纹理信息很少。基于时间信息的方法利用来自不同获取时间的辅助图像中的对应区域来恢复被云覆盖的区域。虽然这些方法可以产生充足的重建结果，但图像之间的显着时间差距可能导致由于地皮覆盖变革而产生不太符合的结果。混合方法在空间-光谱-时间域中整合至少两种类型的信息，比方基于空间-时间信息的地统计方法、基于光谱-时间信息的低秩方法和基于空间-光谱-时间信息的深度学习方法。混合方法可以充分利用光学图像中来自多个来源的信息以增强结果。然而，由于无法得到充足和可靠的输入信息，它们无法产生有效的结果。比方，时间光学图像可能提供不必要的信息，因为它们是在与多云图像不同的获取时间得到的。此外，从光谱域获取信息可能碰面临挑战，因为厚云通常会污染多云图像的所有波段。
FPNet的整体架构如图1所示。设计的端到端云去除网络由两个自下而上的路径组成，即图1中的第一列和第三列，以及一个带有程度连接的自上而下的路径，即图1中的第二列。两个自下而上的路径分别以多云光学图像和辅助SAR图像作为输入，以得到不同标准的特征图。自上而下的路径生成更高分辨率的特征。同时，程度连接和融合块将这些特征与来自两个自下而上的路径的特征链接和归并。FPNet利用文献[15]中提出的损失函数，以最小化云覆盖区域中生成图像与原始多云图像之间的差异。

• 自下而上的路径：设计的网络包含两个自下而上的路径，分别处理SAR和光学图像。自下而上的路径的主干是ResNet-18 [17]，用于高效和快速的处理本领。在此底子上，自下而上的路径选择2作为多标准下采样的比例，并生成包含多个空间分辨率特征图的特征层次结构。具体而言，特征图的空间巨细在图1中标示（即64、32、16和8）。特征图的底层具有更高的分辨率和低级语义，而特征图的上层则具有较低的分辨率和高级语义。
  
• 自上而下的路径和程度连接：FPNet中的自上而下路径涉及通过插值低分辨率特征图生成更高分辨率的特征图。低分辨率特征通常包含比高分辨率特征更多的语义信息。通过从低分辨率特征生成细分辨率特征，并将其与高分辨率特征归并，自上而下的路径可以处理和归并不同层次的特征。在图2中，程度连接可以链接自上而下和自下而上的特征，而设计的融合块则融合来自两个路径和模态的特征。
  
• 融合模块：图1中标示为F1、F2、F3和F4的融合块在网络内部归并信息。图2以F1为例，演示FPNet中融合块的工作原理。首先，从自下而上的路径生成的最低分辨率特征图被连接在一起，以协同方式处理来自SAR和光学图像的信息。其次，连接后的特征图被上采样至其分辨率的两倍，以准备进行下一个程度连接的处理。同时，来自金字塔层次结构较低层次的特征（由E3表现）也被连接在一起。连接后的E4随后与融合后的E3进行卷积和连接，以归并和共同处理特征。在此步调中得到的特征随后被卷积两次，并连接到下一个程度连接。该块具有融合特征的本领，因为它处理来自自下而上的路径和金字塔层次结构不同层次的特征。FPNet以有云的光学图像和SAR图像作为输入，同时输出无云的光学图像。
  

交换合作
geeAI前沿哨是一群具有拍照测量与遥感和计算机等专业背景的高校博士生（含在读和已毕业）创办的用于分享科学前沿动态、专注智能计算和数据的平台。该平台主要联合Google Earth Engine（GEE）云平台和人工智能（AI）技术，实现对地理空间数据的高效处理和智能分析。停止目前，已经有几千人报名参加本平台的学习课程等，其中报名的会员人数已经凌驾400+，帮助学员发表SCI一区/二区高级别论文20篇以上。
此外，geeAI前沿哨创建了多个学习交换群，交换群成员来自各地高校和研究所，涵盖本科、硕士、博士和老师群体，可以在交换群交换讨论、积极碰撞、找到共同研究爱好的“科研搭子”以及下载各种学术论文等。
想加入交换群的同学可加小编微信让其邀请进群（扫描下方二维码咨询报名或菜单栏“接洽我们”选项框都可以找到小编哟）。留意，咨询加群验证信息请备注为“学位-研究方向-学校-加群”格式，否则不予通过。比方，假如你是武汉大学地皮利用分类方向的博士研究生，则可以备注“博士-LULC-武大-加群”；假如你是北京大门生态学方向的硕士研究生，则可以备注“硕士-生态学-北大-加群”。

如果有帮助，点赞或者关注一下呗

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。