如何建设一个自己的网站首页,网站前期定位,腾讯企业邮箱手机号登录入口,机械加工网上平台笔记整理#xff1a;姚云志#xff0c;浙江大学在读博士#xff0c;研究方向为自然语言处理。链接#xff1a;https://arxiv.org/pdf/2106.01515.pdf时序知识图谱是一种多关系的知识图谱#xff0c;相较于常规的知识图谱#xff0c;时序知识图谱中的关系中会与时间段相关… 笔记整理姚云志浙江大学在读博士研究方向为自然语言处理。链接https://arxiv.org/pdf/2106.01515.pdf时序知识图谱是一种多关系的知识图谱相较于常规的知识图谱时序知识图谱中的关系中会与时间段相关联譬如在常规的知识图谱中存在着(Barack Obama, held position, President of USA)这样的三元组关系而在时序知识图谱中则会同时包含这段关系存在的时间(Barack Obama, held position, President of USA, 2008, 2016)。知识图谱问答任务KGQA的任务是使用KG作为知识库回答自然语言问题问题的答案通常是KG中的一个实体节点回答问题所需的推理是基于单个事实、多跳或基于连接/比较的推理。基于时序图谱的问答任务Temporal KGQA则具备了以下更多的特点1.知识库是一个时序知识图谱。2.答案是实体或持续的时间。3.需要复杂的时间推理。然而目前关于时序知识图谱问答任务的数据集的研究非常少从图1中我们可以看到大部分的KGQA数据集中知识图谱都不包含时序的关系数据集中的问题也很少关注时间TempQuestions数据集关注时序问答的问题但数据量很少仅仅用于对模型的测试。图1为此作者在这篇工作中提出了一个新的Temporal KGQA的数据集----CRONQUESTIONS。在构建数据集时作者遵循了以下三个原则1.相关KG必须提供时间标注。2.问题必须涉及时间因素推理。3.标记实例的数量必须很大足以用于训练模型。基于此作者最终推出了包含125k个实体和328k个事实的时序知识图谱和410k个需要进行时间推理的自然语言问题。作者验证了语言模型T5BERTKnowBERT以及LMKG的模型Entities-as-Experts 和 EmbedKGQA的实验结果在数据集上的表现并不令人满意。作者提出了CRONKGQA模型在任务中取得了不错的结果。1.数据集的构建CRONQUESTIONS包含两个部分包含时间标注的知识图谱和需要时间推理的问答集。在构建知识图谱时作者首先从WikiData中选取了包含时间标注的关系并剔除了占比超过50%的关系的部分数据用以平衡数据分布。与此同时为了避免图谱丢失一些重要的事件信息作者从WikiData中抽取了重要的包含起始时间的实体并将这些实体信息添加到了知识图谱中例如World War II, 作者添加了以下格式(WWII, significant event, occurred, 1939, 1945)的事实。在构建问答数据集时作者基于出现次数最多的关系构建了一系列的问题模板图2。基于这些模板在人工改写的问题基础上同时使用了模型去生成更多的问题最终构建了410k的数据。图2. 部分问题模板的样例图3. 人工和机器改写的问题图4. 数据统计2. CRONKGQA作者提出了CRONKGQA用来解决时间预测问题作者首先使用EmbedKGQA作为开始的模型实现由于EmbedKGQA使用ComplEx作为知识图谱嵌入的方法并不能够处理包含时间的信息于是作者在这里采用了TComplEx来获取实体和时间戳的embedding。从图4中我们可以看到CRONKGQA使用了两个预测函数获得了问题的实体嵌入和时间嵌入 。而后分别计算在实体级别和时间级别的得分最后通过softmax来预测最终的答案。3.实验结果作者比较了CRONKGQA和其他主流模型在任务上的表现可以看到CRONEKGQA在任务上取得了非常好的结果超过了EaE等LMKG的模型。作者同时也比较了训练数据集大小对模型结果的影响。我们可以看到除了CRONKGQA在简单的推理数据上的表现随着训练集的增大模型的效果会更好这验证了作者之前的假设拥有一个大的即使是合成的数据集对于训练时态推理模型非常有用。欢迎有兴趣的同学阅读原文。OpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
