离退休干部网站建设,西安做网站建设的,齐齐哈尔做网站,ps软件下载安装论文笔记整理#xff1a;周虹廷#xff0c;浙江大学研究生。研究方向#xff1a;知识图谱#xff0c;图表示学习等。论文链接#xff1a;https://arxiv.org/pdf/2001.06137.pdf本文是发表在ICLR2020上针对图数据做节点半监督分类任务的论文。现有的算法解决图上节点分类问… 论文笔记整理周虹廷浙江大学研究生。研究方向知识图谱图表示学习等。论文链接https://arxiv.org/pdf/2001.06137.pdf本文是发表在ICLR2020上针对图数据做节点半监督分类任务的论文。现有的算法解决图上节点分类问题一般使用传统的可监督的图卷积方法但是当标签数据不足时性能可能会大大降低。因此论文提出了一种图推理学习GIL框架通过学习图拓扑上的节点标签推理来提高半监督节点分类的性能。为了更好的刻画两个节点之间的连接论文通过将节点属性节点间路径和局部拓扑结构封装在一起来正式定义结构关系从而可以方便地从一个节点推导到另一个节点。为了学习推理过程论文进一步介绍了从训练节点到验证节点的结构关系的元优化从而使学习到的图推理能力可以更好地适应测试节点。对四个基准数据集包括CoraCiteseerPubmed和NELL的综合评估表明与半监督节点分类任务中的最新技术相比GIL具有优越性。1、Motivation论文提出了一种图推理学习GIL框架以指导模型本身从参考标记节点自适应地推断那些查询未标记节点并在少数情况下提高半监督节点分类的性能。标记的样品。给定一个输入图GIL尝试通过建立节点间关系从那些观察到的节点中推断出未标记的节点。节点间关系的结构是节点属性连接路径和图形拓扑结构的集成。这意味着两个节点之间的相似性是从三个方面决定的节点属性的一致性局部拓扑结构的一致性以及节点间路径的可达性如图1所示。为了高级特征提取其中的节点以及其中节点的属性都通过图卷积联合编码。对于节点间路径可达性采用随机游走算法来获取给定图中从标记参考节点到查询未标记节点的特征。基于计算的节点表示和节点间可达性可以通过计算从参考节点到图中未标记节点的相似得分/关系来获得结构关系。受近期元学习策略的启发作者认为如果模型学习了从训练集到验证集的结构关系推断可以有益于学习模型的泛化能力。换句话说论文提出的GIL试图学习从训练样本到验证样本的结构关系中潜在的一些可移植知识从而使所学习的结构关系可以更好地适应新的测试阶段。2、Model本文提出的GIL模型包含三个模块分别为对于各个节点通过如GCN等算法编码节点自身的属性信息和周围的邻居的信息然后通过算法确定两个节点的可达性后通过已标记节点的信息推导出带确定节点的标签信息。为了方便推断论文专门在拓扑图上的两个节点之间建立了结构关系。将标记的顶点在训练集中视为参考节点它们的信息可以传播到那些未标记的顶点中以提高标记预测的准确性。形式上给定参考节点vi∈VLabel论文定义类似于vi的查询节点vj的得分Gvi 和Gvj分别为节点vi和vj的邻居子图由于本文是对节点做一个多分类任务因此类和节点的关系如下表示我们在下面综述一下整个模型的过程1节点表示本文通过对各个节点的子图执行图卷积运算来提取顶点vi处的局部表示。类似于栅格化图像/视频在栅格化图像/视频上局部卷积核被定义为具有各种接受场的多个晶格在文本的工作中频谱图卷积用于编码输入图的局部表示。即对每个节点的子图都进行类似于GCN的卷积操作以编码各个节点周围的邻居信息。2路径可达性在这里我们通过在图上采用随机游走来计算从顶点i到顶点j的路径的概率这是指根据概率矩阵P从vi到vj遍历图。从顶点i到顶点j的节点序列是图上的随机游动可以通过考虑图顶点的集合将其建模为经典的马尔可夫链。为了表示该公式我们表明P t是在t步中从顶点vi到达顶点vj的概率。通过考虑从顶点vi到顶点vj的t步路径首先采取单步到某个顶点h然后对tj采取t−1步就很容易体现这一事实。最后从vi到vj的节点可达性可以写成dp维向量3节点分类为了定义对于查询节点来说周围各个已标记节点的贡献本文同时考虑了节点间路径可达性节点对之间的子图表示。然后通过加权和计算查询节点的节点表示最后拼接周围节点的加权结果表示和查询节点本身的节点表示通过一个全连接层输出为标签类别数。4推导学习模型的损失函数即为如下的多分类损失函数 由于我们期待在训练集上训练良好的模型在验证集上仍然能有较好的表现因此本文现在训练集上进行模型参数的梯度下降然后再在验证集上进一步的进行梯度下降在训练过程中文章从训练节点和验证节点执行批量采样而不是一次训练所有数据。在测试阶段我们可以获取所有训练节点像训练过程一样进行模型更新。更新后的模型用作最终模型推断那些查询节点的类标签。3、Experiment1模型比较论文在四个数据集包括Cora、Citeseer、Pubmed、NELL上与DeepWalk、GCN等经典模型进行了比较结果显示模型的准确性有了显著的提升它证明了文章提出的GIL通过构建图推理学习过程在各种图数据集上表现良好其中有限的标签信息和图结构可以很好地用于预测框架中。2模型分析下表展示了经典的GCN模型以及我们提出的GIL模型只在训练集上进行训练和同时使用训练集和验证集进行训练的结果比较可以看到在使用验证集的数据后模型有一个显著的提升这表明可以通过元优化来学习良好的推理能力。值得注意的是GIL采用了元优化策略来学习推理模型这是一个从训练集迁移到验证集的过程。换句话说验证集仅用于教导模型本身如何转移到看不见的数据。相比之下常规方法通常采用验证集来调整特定模型的参数。4、结论在这项工作中本文使用图推理学习方法解决了半监督节点分类任务该方法可以在端到端框架中更好地预测这些未标记节点的类别。本文建立结构关系以获得任何两个图节点之间的连接其中节点属性节点间路径和图结构信息可以封装在一起。为了更好地捕获可转移的知识本文的方法进一步学习了将挖掘的知识从训练样本转移到验证集最终提高了测试集中未标记节点的标签的预测准确性。广泛的实验结果证明了论文提出的GIL在解决半监督学习问题方面的有效性即使是在几次尝试中也是如此。将来我们将扩展图推理方法以处理更多与图相关的任务例如图生成和社交网络分析。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
