nature communications论文 解读

题目《Transfer learning with graph neural networks for improved molecular property prediction in the multi-fidelity setting》
这篇文章主要讨论了如安在多保真数据环境（multi-fidelity setting）下，利用图神经网络（GNNs）结合迁移学习技能，改进分子性子猜测的效果。
研究背景：
在分子性子猜测中，差别来源的数据通常具有差别的保真度：

• 低保真数据：便宜、容易获取，但猜测精度较低（如粗粒度模仿数据）。
  
• 高保真数据：更正确，但代价昂贵（如实验测量或高精度量子化学计算）
  
• 迁移学习的根本方法
  
• 迁移学习（Transfer Learning）是解决多保真题目的一种策略，分为两个步调：
  
• 预练习（Pre-training）：
  
  
  
  • 在低保真数据集 DSD_SDS​ 上练习模型，学习低保真范畴的特性。
    
  • 效果是一个在低保真任务上的猜测器 fSf_SfS​。
    
  
  
• 微调（Fine-tuning）：
  
  
  
  • 将预练习模型的部门权重迁移到高保真任务的模型 fTf_TfT​，并在高保真数据集 DTD_TDT​ 上举行微调。
    
  • 通常，模型的一些层会被冻结（如图卷积层），只练习其余部门，以避免过拟合并减少计算复杂度。
    
  
  

 
图神经网络中的实现

在 GNN 框架下，模型可以分为两部门：

• 图卷积层（GCN layers）：提取图结构的特性。
  
• 读出层（Readout layers）：将图卷积层的输出转换为最终猜测。
  

冻结策略：

GNN 的迁移学习可以根据冻结部门的差别分为以下三种方法：

• 冻结图卷积层，练习读出层：只更新输出部门，适合低保真和高保真范畴特性相似的场景。
  
• 练习图卷积层，冻结读出层：对图结构举行进一步调整。
  
• 全部可练习：不冻结任何层，适合当范畴间差异较大时。
  

文章中的实验效果表明，冻结图卷积层、练习读出层的效果最好。
 方法：
迁移学习

：带自顺应读出层的图神经网络（GNN） 和 监督式变分图主动编码器（VGAE）
 

基于图神经网络的多保真度数据迁移学习结构图

图神经网络中的标准读出函数（如求和、求平均和求最大值）没有任何参数，因此不适合迁移学习任务。本文提出了一种新的神经网络架构读出函数，它能够将学习到的节点表示聚合为图嵌入。在微调阶段，固定图神经网络中负责学习节点表示的部门，并在小样本的卑鄙任务中微调读出层。本文采用了聚集Transformer读出函数，保留了标准读出函数的分列稳定性特性。因为图可以看作节点的聚集，本文利用这种架构作为图神经网络的读出函数。
在该Transformer中，编码器由多个经典的多头注意力块构成，但没有位置编码。解码器组件由投影的多头注意力块构成，颠末多个自注意力模块链和线性投影块举行进一步处置惩罚。与典型的基于聚集的神经网络结构只能单独处置惩罚单个元素差别，本文提出的自顺应读出函数能够建模由邻域聚合方案天生的所有节点表示之间的相互作用。该架构的一个特点是，图表示的维度可以从节点输出的维度和聚合方案中分离出来。
变分图自编码器（VGAE）

变分图自编码器（VGAE）由概率编码器和概率解码器构成。与在向量值输入上利用的标准变分自编码器（VAE）架构差别，VGAE通过图卷积层的叠加得到编码器部门，学习表示隐空间编码高斯分布的参数矩阵μ和σ。该模型通常假设图中存在自环，即邻接矩阵的对角线由1构成。解码器通过sigmoid函数通报隐变量之间的内积，从而重构邻接矩阵中的元素。通过优化证据下界（ELBO）丧失函数来练习VGAE，该丧失函数由表示学习的重修偏差和变分分布q(⋅)与先验p(⋅)之间的Kullback-Leibler散度（KL散度）正则化项构成。由于图的邻接矩阵通常是希罕的（即Aij=0的元素远多于Aij=1的元素），因此在练习过程中通常对Aij=0的样本举行采样，而不是取所有的负样本。
作者通过在VGAE的表示空间中加入前馈组件，将标签信息引入VGAE的练习优化过程，从而实现了有监督的变分图自编码器。实际上，从传统的VAE过渡到图上的VGAE，再到建模分子结构的VGAE并非简单的过程，主要有以下两个缘故原由：一是原始VGAE只重修图的连通性信息，而不重修节点（原子）特性。这与传统的VAE差别，后者的潜在表示直接针对实际输入数据举行优化。二是对于分子级别的猜测任务和潜在空间表示，VGAE的读出功能至关重要。标准读出函数会导致雷同完全无监督练习的无信息表示，在迁移学习任务中体现较差。因此，本文提出的监督变分图自编码器在图表示学习方面是一个重要进步，尤其适用于建模具有寻衅性的分子任务。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。