（ISPRS，2021）具有遥感知识图谱的鲁棒深度对齐网络用于零样本和广义零样本遥感图像场景分类

Robust deep alignment network with remote sensing knowledge graph for zero-shot and generalized zero-shot remote sensing image scene classification

相干资料

论文：Robust deep alignment network with remote sensing knowledge graph for zero-shot and generalized zero-shot remote sensing image scene classification - ScienceDirect
代码：kdy2021/SR-RSKG (github.com)
择要

只管深度学习已经彻底改变了遥感图像场景分类，但当前基于深度学习的方法高度依靠于预定场景种别的大量监视，而且对于超出预定场景种别的新种别体现不佳。实际上，随着涉及遥感图像场景新种别的新应用的出现，分类任务通常须要扩展，因此怎样使深度学习模子具备辨认练习阶段未预定场景种别之外的未见遥感图像场景的推理本事变得非常告急。本文充实使用遥感范畴的特性，重新构建了一个新的遥感知识图谱（RSKG），以支持未见遥感图像场景的推理辨认。为了进步面向遥感的场景种别的语义表现本事，本文提出通过遥感知识图谱的表现学习天生场景种别的语义表现（SR-RSKG）。为了寻求视觉特性和语义表现之间鲁棒的跨模态匹配，本文提出了一种新型的深度对齐网络（DAN），并操持了一系列优化束缚，可以同时办理零样本和广义零样本遥感图像场景分类题目。在多个公开数据集的集成遥感图像场景数据集上的广泛实行表明，所提出的SR-RSKG显着优于传统知识范例（比方，天然语言处理处罚模子和手动解释的属性向量），而且在零样本和广义零样本遥感图像场景分类设置下，我们提出的DAN与现有开始辈方法相比体现出更好的性能。构建的RSKG将与本文一起公开提供（https://github.com/kdy2021/SR-RSKG）。
弁言

零样本学习（ZSL）比年来的发展为辨认未见种别的样本提供了有盼望的办理方案。通过使用包罗看到和未见种别在内的种别的先验知识作为辅助信息，ZSL可以学习从看到种别的样本中辨认未见种别的样本。通常，看到和未见种别的语义信息是人类的知识，这是广泛的，可以在练习和测试阶段使用，但是练习阶段不存在未见种别的图像样本。因此，怎样表达语义是寻求ZSL良好性能的关键。
与盘算机视觉范畴相比，遥感范畴的特点限定了ZSL和GZSL的发展：

  

• 遥感场景种别的名称通常具有范畴特异性。假如直接使用通用天然语言处理处罚模子（比方，Word2Vec）将遥感场景种别的名称映射为语义表现，那么这些语义表现就不能反映遥感种别的内在语义信息。  
  
• 遥感图像场景通常具有大的类内差异和大的类间相似性，通常比盘算机视觉范畴的天然图像具有更复杂的表面。通常，在盘算机视觉范畴取得良好结果的ZSL和GZSL方法不能直接扩展到遥感范畴的任务。总的来说，推动零样本和广义零样本遥感图像场景分类的发展值得更多的探索。
  

为了天生高质量的遥感场景种别的语义表现，本文基于人类专家的范畴先验知识构建了一个新的遥感知识图谱（Remote Sensing Knowledge Graph, RSKG），此中RSKG充实思量了遥感场景元素之间丰富的接洽。据我们所知，本文初次提出通过遥感知识图谱的表现学习来盘算遥感场景种别的语义表现（Semantic Representations of RS scene categories by representation learning of RSKG, SR-RSKG）。基于SR-RSKG，本文提出了一个新的深度对齐网络（Deep Alignment Network, DAN），并操持了一系列经心操持的束缚条件，该网络可以在匿伏空间中妥当地匹配视觉特性和语义表现，以办理零样本和广义零样本遥感图像场景分类题目。
遥感知识图谱的表现学习

遥感知识图谱的构建

为了支持零样本遥感图像场景分类，我们基于遥感场景元素构建了一个新的知识图谱（即RSKG）。值得注意的是，RS场景不但仅是一系列对象的聚集，它还包罗了对象之间丰富的关系。联合遥感图像内容的特点以及地理空间关系的相干研究，我们界说了RSKG中的关系如下：
我们将关系分为两类：属性关系和空间关系

  

• 属性关系用于形貌对象的特性或与其他对象的父子关系，可以进一步细分为数据关系和对象关系。数据关系包罗外形、颜色、宽度、分布和高度；对象关系包罗“拥有”、“构成部门”、“部门”和“成员”。
    
  
• 空间关系重要形貌空间中差别对象之间的位置关系，可以细分为位置关系、拓扑关系和含糊关系。位置关系包罗“标出”、“停靠”、“克制”、“在上方”和“在上方”；拓扑关系包罗“被困绕”、“在…交错”、“通过”、“遇见”、“毗连”、“覆盖”、“包罗”和“在内”；含糊关系包罗“靠近”、“旁边”、“四周”和“沿着”。
  
  

当前版本的RSKG包罗117个实体、26种关系和191个三元组。
实体和关系的语义表现学习

对于知识图谱中的每个三元组（h, r, t），TransE模子假设头部实体向量加上关系向量约莫即是尾部实体向量。然而，TransE模子无法处理处罚知识图谱中出现的1-N或N-1等复杂关系。为了办理这个题目，我们保举使用改进的表现学习模子TransH，它通过将关系建模为超平面上的平移使用来机动处理处罚复杂关系。
在TransH模子中，给定的嵌入向量ch和ct被映射到超平面上，通过盘算 c h ⊥ = c h − w r ⊺ c h w r c_{h_⊥} = c_h − w^⊺_rc_hw_r ch⊥​​=ch​−wr⊺​ch​wr​和 c t ⊥ = c t − w r ⊺ c t w r c_{t_⊥} = c_t − w^⊺_rc_tw_r ct⊥​​=ct​−wr⊺​ct​wr​，此中 w r w_r wr​是超平面的法向量。然后，通过最小化目的函数来优化嵌入向量，目的函数界说为：
  f r ( h , t ) = ∥ c h ⊥ + c r − c t ⊥ ∥ 2 2 f_r(h, t) = \| c_{h_⊥} + c_r - c_{t_⊥} \|^2_2 fr​(h,t)=∥ch⊥​​+cr​