东莞市塘厦网站建设,仿腾讯视频网站,微博个人网页设计模板,线上线下相结合的营销模式论文笔记整理#xff1a;耿玉霞#xff0c;浙江大学直博生。研究方向#xff1a;知识图谱#xff0c;零样本学习等。来源#xff1a;AAAI2020论文链接#xff1a;https://arxiv.org/pdf/2001.02332.pdf本文是发表在AAAI2020上的一篇基于生成对抗网络进行知识图谱零样本关… 论文笔记整理耿玉霞浙江大学直博生。研究方向知识图谱零样本学习等。 来源AAAI2020论文链接https://arxiv.org/pdf/2001.02332.pdf 本文是发表在AAAI2020上的一篇基于生成对抗网络进行知识图谱零样本关系学习的文章。在知识图谱表示学习KG Embedding的相关工作中会出现一些未在训练数据集中出现过的关系即 zero-shot relations由于relation及其相关的三元组没有在训练数据集中出现过则无法获得该relation训练好的向量表示从而无法进行链接预测等下游任务。在这篇文章中作者提出利用这些relations的文本描述信息以及生成对抗网络为这些zero-shot relations学习到有语义意义的向量表示从而避免KG中存在新出现的关系时表示学习模型需要重新训练的问题。 1. 相关背景1.1 基于生成对抗网络的零样本学习零样本学习即处理那些未在训练集中出现过的类别的分类问题。在训练集中出现过的类别即seen classes有训练数据此类classes经训练具备一定分类该类测试样本的能力而未在训练集中出现过的类别即unseen classes无训练数据此类classes测试样本的分类/预测依赖与seen classes建立一定的语义联系如文本描述、属性描述等迁移相关seen classes的样本特征使得unseen classes的样本特征得到学习并最终实现分类。近年来随着生成对抗网络Generative Adversarial Networks, GANs在生成图片等方面的成熟运用许多研究者将GANs引入零样本学习中为unseen classes这些缺少样本的classes生成训练样本使得零样本学习转化为传统的监督学习从而对unseen classes测试样本进行预测。此类方法的一般框架为基于类别的语义描述文本描述等及一些随机噪声输入到GAN的生成器Generator中生成该类别对应的样本特征同时在判别器Discriminator中将生成的样本fake data与真实样本的特征real data经过对抗使得生成器生成高质量的样本。经过训练的生成对抗网络具备为unseen classes生成样本的能力。 1.2 知识图谱中的零样本关系学习知识图谱的表示学习通常用于知识图谱的补全链接预测等任务对于一个三元组在给定头实体head entity及关系的情况下预测其对应的尾实体tail entity。这篇文章的作者们考虑了KG中的零样本关系学习即对于新出现的一些关系在不经过表示学习算法重新训练的情况下依然能在这些关系上进行链接预测的任务。考虑KG中存在一些由seen relations组成的训练数据集 其对应的测试集由unseen relations组成 零样本学习算法最终的任务即为这些unseen relations涉及到的head entity预测其对应的tail entity。值得注意的是本篇文章的问题设定集中在处理zero-shot relations未考虑会出现一些新的实体即KG中的实体在训练集和测试集中都出现过。换句话说在测试时对于KG中已经存在的实体添加了一些zero-shot relations预测它们是否构成一个完整的三元组。 2. 算法模型因此本文提出使用生成对抗网络为知识图谱中的unseen relations生成特征表示从而解决知识图谱中的零样本关系学习问题。本文的框架如下图所示。 其中生成器G利用关系的描述文本生成关系的特征表示向量即relation embedding此向量蕴含了KG中的语义信息判别器D分类/判别生成样本和测试样本并且为保证生成样本的质量对生成的样本进行分类使得样本具有inter discriminative的特征预训练的特征编码器编码某关系对应的三元组即获取真实样本的特征分布。下面将详细介绍这三个部分。 2.1 特征编码器对于某关系r存在一系列的实体对集合这些实体对描述了该关系的样本特征分布。对于其中的每一对实体特征编码器首先通过一个entity encoder和一个neighbor encoder捕获这些实体对的蕴含的特征随后得到实体对的表示后特征编码器再组合得到该关系的表示。Entity encoder首先将实体 经过一个全连接层随后将实体对对应的两个实体进行拼接得到 其次neighbor encoder将实体对中每一个实体对应周围一跳范围的关系和实体进行编码具体地对于实体周围一跳范围的实体关系集合 neighbor encoder将每一对邻居经过拼接之后再分别经过全连接层最终计算所有邻居表示的均值得到 其中对于所涉及实体和关系的初始化表示,, etc.可由TransE等经典的KG embedding模型得到。对于该实体对拼接上述实体表示可得到关系特定的实体对表示 整体过程如下图所示 最终对关系r所有的实体对的表示进行聚类可得到关系r的特征表示 此特征编码器的训练文章采用了基于margin loss的预训练策略。具体地对于关系r首先选定一些reference triples作为标准集即 可得到关系的reference embedding 在训练时使正样本 的表示逼近reference embedding而负样本 的表示远离 reference embeddingloss function为 其中正样本的score即为计算正样本和reference triple之间的cosine相似度 2.2 生成器生成器利用关系r的描述文本及噪声生成关系r的特征表示如下图所示。 对于关系的描述文本作者利用文本中每个词的word embedding并通过计算文本中词的TF-IDF权重对这些word embedding进行加权求和得到文本描述的向量表示。随后文本的向量表示与随机采样的噪声共同作为生成器的输入。其中生成器由两层全连接层及激活层函数组成最终生成关系r的特征表示。生成器的loss function为 其中生成样本表示为 为关系r的文本描述表示为随机采样的噪声loss function的第一项为GAN中的Wasserstein loss第二项为分类生成样本的分类损失项第三项为 visual pivot 正则化项即使得生成样本的中心逼近真实样本的中心。2.3 判别器判别器使得真实的样本和生成的样本进行对抗从而训练生成器生成高质量样本的能力其loss function为 其中前两项为计算真实样本和生成样本的Wasserstein距离第三项、第四项分别为分类真实样本和生成样本的分类损失函数最后一项为Wasserstein GAN网络中为保证Lipschitz constraint 约束的GP优化项即规范判别器的梯度下降。2.4 Unseen relations的分类/预测基于前面训练好的生成器给定unseen relation的文本描述可生成其对应的relation embedding: 。预测时对于一个query triple 其候选尾实体对应的score计算如下 为了验证生成器的泛化能力对于关系 r 可生成一组特征表示向量其中的每一个与测试样本计算score之后取均值 3. 实验针对提出的zero shot relation learning文章基于NELL和Wiki构建了两个数据集NELL-ZS、Wiki-ZS其中数据集中的每一个关系均有可获取的文本描述。其数据统计情况如下图所示 考虑到现有的KG embedding的算法无法对unseen relation实现预测文章提出了三种针对unseen relations改进的baselinesZS-TransE, ZS-DistMult 和 ZS-ComplEx。这三种baseline在原TransE, DistMult 和ComplEx算法的基础上取代原本算法中对关系进行随机初始化的操作利用关系的文本描述学习关系的特征表示。具体地与生成器的输入类似同样也使用TF-IDF加权的word embedding得到文本的表示再经过两层全连接层得到关系的特征表示。该表示将与实体随机初始化的表示在表示学习算法score function的训练下进行优化。由此对于unseen relations即可通过关系的文本描述得到关系的表示从而进行链接预测等任务。在两个数据集上对比baselines结果如下 其中ZSGAN为本文中提出的方法ZSGAN(TransE) 等表示在2.1中特征编码时使用TransE预训练的embedding对实体和关系进行初始化。结果表示本文提出的ZSGAN对比baseline在两个数据集上取得了不错的效果。同时值得注意的是在unseen relations存在的情况下baseline中的DistMult具有一定的学习优势。 文章同时分析了生成样本的质量具体地计算生成的relation embedding和其对应真实样本的embedding之间的cosine距离在一些关系上的对比结果如下所示 4总结本文首次提出了知识图谱中的零样本关系学习问题同时引入生成对抗网络以生成relation embedding的方式解决预测时新出现的unseen relations的预测问题。文本中蕴含的relation之间的关联信息为seen relations和unseen relations构建了类别层面的关联使得生成对抗网络在seen relations的训练下可为unseen relations生成语义丰富的特征表示。除文本描述信息外一般的零样本学习也利用了属性描述及类别间层次关系等信息在知识图谱零样本学习的场景中利用一些relation间更加high-level的关系如共现关系等或关系间共有的属性信息对零样本的关系学习是否有贡献也是值得思考的问题。同时本文将研究点关注于KG中zero-shot relation对于KG中新出现的一些实体即zero-shot entity的学习也是值得探索的方向。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
