网站浮动窗口怎么设置,品牌建设的内容有哪些,seo综合查询接口,免费网站服务器2020笔记整理 | 朱珈徵#xff0c;天津大学硕士链接#xff1a;https://arxiv.org/pdf/2012.08492.pdf动机大型知识图通常会增长以存储时态事实#xff0c;这些时间事实对实体沿时间线的动态关系或交互进行建模。因为这样的时态知识图经常遭受不完全性的困扰#xff0c;所以开发… 笔记整理 | 朱珈徵天津大学硕士链接https://arxiv.org/pdf/2012.08492.pdf动机大型知识图通常会增长以存储时态事实这些时间事实对实体沿时间线的动态关系或交互进行建模。因为这样的时态知识图经常遭受不完全性的困扰所以开发有助于推断缺失的时态事实的时间感知表示学习模型是很重要的。虽然时间事实通常是不断演变的但据观察许多事实往往沿着时间线呈现出重复的模式例如经济危机和外交活动。这一观察表明一个模型可能从历史上出现的已知事实中学到很多东西。为此作者基于一种新颖的时间感知拷贝生成机制提出了一种新的时态知识图表示学习模型——CyGNet。CyGNet不仅能够从整个实体词汇中预测未来的事实而且能够通过重复识别事实并相应地参考过去已知的事实来预测未来的事实。实验使用五个基准数据集在知识图完成任务上评估了所提出的方法。大量的实验证明了CyGNet预测未来重复事实和从头预测事实的有效性。亮点CyGNet的亮点主要包括1研究重复的时间事实的潜在现象并建议在TKGs(temporal knowledge graphs,时态知识图谱)中学习推断未来事实时参考历史上已知的事实2作者通过时间感知复制生成机制提出了一个新的TKG嵌入模型CyGNet它结合了两种推理模式基于历史词汇或整个实体词汇进行预测因此更符合前面提到的TKG事实的演化模式。概念及模型CyGNet模型主要结合了两种推理模式即复制模式和生成模式前者试图从特定的历史词汇中选择实体形成历史中的重复事实而后者从整个实体词汇中预测实体。模型整体框架如下复制模式复制模式旨在通过重复来识别事实并通过从历史上已知的事实中复制来相应地预测未来的事实。对于一个四元组(s, p,?, tk) 复制模式首先用MLP生成一个索引向量Vq然后CyGNet通过添加索引向量Vq和改变的multi-hot指示向量来界定候选空间最小化不感兴趣实体的概率然后用softmax函数估计历史词汇中对象实体的概率:p(c)是一个向量其大小等于整个实体词汇的大小并且表示历史词汇上的预测概率。最终p(c)的最大维度表示要从历史词汇中复制的对象实体。复制模式的优点是它能够从一个比整个实体词汇表更分隔的候选空间中学习预测。然而事实也可以在即将到来的快照中出现。因此需要一个生成模式来预测这些事实。生成模式给定相同的前述查询(s, p,?, tk)生成模式负责通过从整个实体词汇中选择对象实体来预测事实。由生成模式做出的预测将预测的事实视为完全新的事实而不参考历史。与复制模式类似生成模式还生成一个索引向量gq其大小等于候选空间的大小并使用softmax函数进行归一化以进行预测:类似于Copy模式中的p(c)p(g)表示整个实体词汇上的预测概率。p(g)中的最大值表示作者通过生成模式在整个实体词汇表中预测的对象实体。“生成”模式是对“复制”模式的补充具有从头预测事实的能力。学习目标当给定一个查询时预测(对象)实体(s, p,?, tk)可以看作是一个多类分类任务其中每个类对应一个对象。学习目标是最小化训练期间存在的TKG快照的所有事实的交叉熵损失:推论为了确保候选空间中所有实体的概率和等于1引入了系数α来调整复制模式和生成模式之间的权重。CyGNet将复制模式和生成模式的概率预测相结合将这两种模式给出的每个实体的概率相加。最终预测结果将是获得最高组合概率的实体定义如下:理论分析实验在这一部分作者用五个公开的TKG数据集证明了CyGNet的有效性公开数据集进行实验分别是ICEWS18ICEWS14 GDELT WIKI 和 YAGO。模型的评价指标为MRR和Hits1/3/10 (排名在前1/3/10的正确测试结果的比例)。作者还实施了已在先前工作中广泛采用的过滤评估约束。如图所示CyGNet在所有情况下都能获得最佳性能。静态KGE方法通常展现足够的结果而很大程度上落后于表现最好的TKGE方法因为它们没有捕捉时间动态。还可以观察到所有静态KGE方法的性能通常都优于TransE和HyTE。作者认为这是由于TransE和HyTE为每个快照独立学习表示而不是捕获长期依赖。CyGNet在ICEWS18、ICEWS14和GDELT上的表现明显优于其他基线方法。特别是在GDELT上因为GDELT在每个快照中比其他数据集具有更密集的训练事实并且具有更完整的历史信息。在另外两个数据集上CyGNet也始终超越静态的KGE和TKGE方法。这意味着CyGNet通过从历史中学习从零开始识别和预测新的事实有效地预测未来的事实。为了帮助理解CyGNet不同模型成分的贡献作者还进行了一个消融研究。根据表中的结果作者发现复制模式和生成模式都很重要。取消复制模式可能会导致MRR下降7.66%以及其他指标的大幅下降这表明通过参考过去已知的事实来学习预测未来的事实可能会有所帮助。另一方面生成模式的取消导致MRR下降了5.71%这也是该模型重新进行事实预测的能力丧失的原因之一。这些结果进一步解释了CyGNet的良好表现是由于从历史中学习的能力以及从零开始识别和预测新事实的能力。总结表征和推断时态知识是一个具有挑战性的问题。在本文中作者第一次利用复制机制来解决这个问题基于一个假设即未来的事实可以从历史事实中预测。提出的CyGNet不仅能够预测整个开放世界的事实还能够重复识别事实并根据过去出现的已知事实相应地选择未来的事实。在五个基准数据集上给出的结果证明了CyGNet在预测TKGs未来事实方面的良好表现。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
