wordpress做出的网站,网店美工的意义与发展,wordpress直接上传视频,连云港做企业网站公司本文转载自公众号#xff1a;AI科技评论。 ACL 2019 已经结束#xff0c;但其空前的规模仍然震撼人心#xff1a;2900多篇提交论文#xff0c;660篇被接收#xff0c;3000多名会议注册人员#xff0c;以及4个超过400人的研讨会#xff08;比一些国际CS会议都大#xff… 本文转载自公众号AI科技评论。 ACL 2019 已经结束但其空前的规模仍然震撼人心2900多篇提交论文660篇被接收3000多名会议注册人员以及4个超过400人的研讨会比一些国际CS会议都大。值得一提的是在本届ACL中热门话题例如BERT系列、Transformers、机器翻译等受到热烈关注但除此之外还有一些新的趋势例如对抗学习、自然语言生成、知识图谱等。以知识图谱为例本次会议中共有30篇接收论文大约占了所有接收论文的5%。会后总结是优秀学者的必要行动。随着ACL会议的结束在网上已经先后出现了多篇关于ACL大会上各细分领域的总结文章。例如来自德国Fraunhofer IAIS的研究科学家Michael Galkin近日便在Medium上发表了一篇关于知识图谱ACL2019的总结文。文章则围绕ACL大会上关于知识图谱KG的研究进行了详细且完整的探讨的内容共包含五个部分分别为1、基于知识图谱的对话系统2、知识图谱事实的自然语言生成3、基于知识图谱的问答4、基于知识图谱的NER和关系链接5、知识图谱嵌入和图表示一、基于知识图谱的对话系统对话系统传统上分为目标导向agent和闲聊agent两种。所谓目标导向agent即帮助用户去完成某项任务例如帮忙预定餐桌或安排代驾等。闲聊agent即智能对话具有互动性、娱乐性和话题性。近来我们可能听到太多关于深度神经网络构建端到端不需要特定通道对话系统的工作。然而现在越来越明显的一个趋势就是无论在目标导向还是闲聊的agent中都需要拥有一些知识前者需要领域知识后者需要常识知识。1、关于集成知识的趋势ACL主席周明在大会主旨演讲中已经表达的很清楚了。演讲中他强调了将知识图谱、推理和背景纳入对话系统的重要性。我想补充的一点是知识图谱也将同时提高agent对话的可解释性。图1ACL主席周明演讲中提到知识图谱的重要性2、在NLP forConversational AI 研讨会[1]中讨论了更多此类细节问题。华盛顿大学的 Yejin Choi[2]提出了一种在对话中整合基于知识种子的常识推理knowledge-seeded commonsense reasoning的方法。图2YejinChoi on COMET3、亚马逊的RuhiSarikaya[3]证实Alexa有一部分仍需要在带有从结构源例如图中提取知识的通道模式下执行。4、微软研究院的JianfengGao[4]阐释了小冰是如何利用结构化信息与用户互动的。值得注意的是小冰目前为止仍然保持着最长人机对话的记录23轮。5、Facebook AI的Moon等人[5]在2019年推出了OpenDialKG这是一个新的开放式对话知识图谱并行语料库有15K的标注对话、91K轮基于1M三元组、100k实体和1358个关系的Freebase子集。这在构建基于知识图谱的对话系统上迈出了巨大的一步希望Facebook的工作也会鼓励到其他人。此外作者提出了一种新颖的DialKG Walk架构能够利用带有一个基于注意力图谱路径解码的E2E方式的知识图谱。图3ACL上FacebookAI 对OpenDialKG的报告唯一值得担心的是选定的图Freebase从2014年起就正式停用了并且很长时间里都没有支持了。或许是时候该将社区数据切换到维基数据了二、知识图谱事实的自然语言生成生成连贯的自然语言话语例如从结构化数据是一个热门的新兴话题。纯粹的神经端到端 NLG模型试图解决的是生成“非常枯燥”的文本的问题而结构化数据的NLG在表达自然语言的固有结构方面则更具有挑战性。知识图谱难以用语言表述。例如你可以从一个三元组Berlin, capitalOf,Germany生成多个不同的句子但当你有一组连接的三元组时Berlin, capitalOf,GermanyWorld_Cup_2006, hostedBy, Germany时以下哪个选项更有效呢“Berlin is the capital ofGermany which hosted the World Cup 2006”“Berlin is the capital of thecountry where World Cup 2006 took place”令人惊讶的是ACL会议中展示了相当多关于知识图谱三元组描述verbalizing triples in KGs的内容。首先我要提一下由IBM研究院组织的关于storytelling研讨会[6]在这个研讨会上提出了大量解决三元组描述问题的比赛和可行的方案。可以去看相关的slides.在Logan等人展示的论文[7]和poster中他们建议应当将语言模型例如OpenAI GPT与知识图谱嵌入结合使用。作者还介绍了一个新的数据集Linked WikiText-2[8]数据集中训练集包含了从Wikidata中标注的41K个实体和1.5K个关系。图4Taken from Logan et al.事实上并仅仅是在ACL 2019上有这些文章在最近的NAACL 2019中Moryossef等人的一项工作[9]也于此相关他们提出一种基于三元组的自然语言生成双重模型Chimeratwo-fold model for NLG over triples。首先在给定三元组的情况下他们生成如图graph一样的文本方案其中保留了给定三元组的组合型然后对这些文本方案进行打分排序最后运行一个典型的具有复制机制的神经机器翻译NMT来生成文本句子。其实验评估是就WebNLG数据集有意思的是这个数据集也使用了Wikidata实体和谓词ID。三、基于知识图谱的回答问答作为一个阅读理解任务是追踪类似BERT这样大型模型进展的流行基准之一。“基于知识图谱的问答KGQA旨在为用户提供一个界面让用户能够用自然语言提问且能使用他们自己的术语然后通过查询知识图谱来得到简明的答案。”以上的定义我引用了Chakraborty等人[10]的定义。在QA任务中知识图谱为用户提供了可解释的结果实际上一个图模式可以/不可以在目标图中找到。此外它还可以执行阅读理解系统无法实现的复杂推理。在这方面ACL 2019有许多state-of-art的研究你可以去查一查。Saha等人的工作[11]是复杂序列问答ComplexSequential Question AnsweringCSQA数据集带有WikidataID这个数据集目前包含了基于知识图谱的最困难的问题例如聚合“Which people are the patron saint of around the same number ofoccupations as Hildegard of Bingen?”验证“Is that administrative territory sister town of Samatice andShamsi, Iran?”以及更多组织为带有「基于实体和关系的指代消除」的对话。没有记忆的方法及时在简单问题上训练也会表现出非常差的性能现在看来你需要某种格式化语言或语法来执行逻辑动作和聚合。Saha等人介绍了一种包含几个动作例如交集、知识图谱嵌入查找等的语法强化学习用它来推导出能够在对话环境中回答以上复杂问题的逻辑程序。图5Taken from Saha et al.Weber等人[12]研究的是神经Prolog这是一个可微逻辑方法differentiable logic approach它将符号推理和基于句子嵌入的规则学习方法结合了起来可以字节应用到自然语言文本中而不需要将文本转化为逻辑形式且可以使用Prolog形式的推理来进行逻辑查询。因此这个框架事实上是建立在模糊逻辑和预训练句子嵌入模型之上的。我认为神经逻辑方法目前在社区中是一个被严重低估的领域这篇文章以及上篇文章都为它们是如何推理出特定答案提供了一个非常基础的可解释的机制因此当研究人员想要在真实可解释性方面开辟战场时我希望这个领域能够得到足够的重视。图6Taken from Weber et al.针对处理起来相对简单的KGQA数据集Xiong等人[13]提出了一种基于不完整知识图谱的QA在这里需要进行一些链接预测Sydorova等人[14]在TextKBQA任务有两个知识源图和文本段落上获得了不错的结果。另外一种方法是Yang等人[15]提出的他们使用了带有KG本例中使用的是wordNet和NELL的BERT形式的阅读理解模型。截止2019年3月他们的KT-NET在SQuAD1.1和ReCoRD上的表现优于纯粹的MRC系统这说明这是一个有前景的研究方法。基于阅读理解的QA系统目前仍然是比较火热的领域在本次会议中有多个oral和poster的session都是关于这一方面的所以我敢肯定随后会有一些关于这个方面更详细的解读。。简而言之类似WikiHop或HotpotQA这样的新数据集是针对整个 Wikipedia文章进行multi-hopQA您需要结合几篇文章中方法来回答一个问题。CommensenseQA包含了从搜索引擎日志中获取的真实问题因此系统需要建立莫衷类型的常识推理。如果你想从一堆完全无意义的样本中区分出有意义的部分那么你就需要使用对抗训练了今年ACL也提供了几篇文章Zhu等人[16]和Wu等人[17]他们的对抗训练还不错。最后要为了克服训练数据集较小的问题Alberti等人[18]提供了一种改写数据增强方案paraphrasing data augmentation schema能够生成多达50M额外的问题来训练他们的系统结果显示F1值有2到3的提升。四、基于知识图谱的NER和关系链接今年的ACL大会中“信息抽取”毫无疑问是最受欢迎和最引人注目的一个方向。而KG在信息提取的命名实体识别、实体链接、关系抽取、关系链接等方面也展现出了真正的优势。此外在本次会议上也出现了许多新的带有Wikidata IDs的数据集和方法。Bosselut等人[19]写的文章是在本次会议中我最喜欢的文章Top-3之一在这篇文章中他们介绍了一种常识transformer架构COMET。图7Taken from Bosselut et al.在COMET中他们将语言模型例如GPT-2与种子知识图谱例如ATOMIC结合在了一起。给COMET输入图的种子元组COMET便能学到图的结构和关系。此外这个语言模型是用图表示构建而成而不是传统的生成结点和边然后把它们加入到种子图中。更酷的是你还可以得到一个表示为自然文本元组例如(take a nap, CAUSES, have energy)的图。用这个架构在大型数据集例如Wikidata上测试应该是一件非常有意思的事情。新数据集和关系提取的基线模型它们都是基于Wikidata实体和谓词很好Yao和Ye等人[20]提出了一个大型数据集DocRED其中共102K个文档包含了6个实体类型、96个关系、2.5M个实体没有WikidataIDs828K个句子。Trisedya等人[21]提出了一个包含255K文本三元对、280K个实体和158个谓词的数据集基于这个数据集还提出了一个任务从给定自然语言句子中构建知识图谱和一个基准模型。此外Chen等人[22]提出了一个关系相似性的数据集包含426K三元组、112K个实体和188个关系。在对信息提取的深入研究方面Zhu等人[23]利用图注意力网络在关系链接方面取得不错的结果。他们将句子中的实体和关系组合建模为一个图并使用能够识别多重关系multi-hop relations的GNN。结果在SOTA有重大的提升。Soares等人[24]提出了一个关系学习的新方法——预训练一个大型模型例如BERT将句子输入它的编码器获得关系的抽象概念然后在例如Wikidata、TACRED或DBpedia等特定模式中进行微调来获得一个带有相应ID的真实的谓词。这种方法具有很大的现实意义。通常基于KG的信息抽取方法都是为特定的本体ontology而设定的所以你有多少本体你就需要有多少任务。这里作者从所有方案中提取了一些普适性的关系这些关系你可以加入到你自己的方案中从而减少大量重复性工作。这种方法在zero-shot和few-shot任务特别管用在训练数据非常有限的情况下使用这种方式可以显著地提高你的模型的精确度。图8Taken from Soares et al.在实体链接上Logeswaran等人[25]提出使用类BERT的预训练阅读理解模型来将实体链接推广到未知领域的未知实体上。为此他们引入了一个域自适应预训练DAP策略以及在未知领域zero-shot实体链接的新任务。尽管目前他们的数据集仅包含了Wikia的文章不过我认为将他们的框架应用到包含多语言标注和同义词或定义明确的特定领域本体的知识图谱上应该不会有太大问题。Hosseini等人[26]的工作研究了从自然语言文本中直接提取关系图的问题他们在多个评估数据集上获得了显著的改善。Shaw等人[27]也完成了一个类似的工作他们用图网络GNN这些天确实比较火来获得带有实体的逻辑形式。Wu等人[28]研究了KG中的关系表示并提出一种表示适配模型Representation Adapter model这个模型可以推广到基于已有KG嵌入的未知关系当中。作者在文章中还将SimpleQuestionSQ数据集调整为SimpleQuestions-BalanceSQB数据集使得训练/测试拆分中实体与虚拟的谓词的分布更加平衡。在命名实体识别Named Entity RecognitionNER上我强烈推荐Lopez等人的文章“Fine-grained Entity Typing in Hyperbolic Space”[29]。使用可能涉及的实体实体类型的二维列表flat list作者构建了一个双曲嵌入空间来推断涉及的上下文并将一个实体类型赋予给一个实体。例如给定一个句子“A list of novels by Agatha Christie published in …”其中“Agatha Christie”将不仅被标记为“human”同时在更细粒度上会被标记为“writer”类中。实际中这个框架在UltraFine数据集上的训练可以划分三级在OntoNotes上结果与SOTA方法旗鼓相当。图9Taken from Lopez et al.五、知识图谱嵌入和图表示可能有人会认为NLP的会议不是一个学习关于图表示的最佳场所但在ACL这次会议上确实出现了许多有见解的论坛它们尝试从结构和语义两方面对知识图谱进行编码。Nathani等人[30]介绍了一种基于图谱注意力网络graph attention networksGAT的知识图谱嵌入方法该方法在注意力机制中考虑了结点node和边缘edge的特征。作者采用了多头注意力架构multi-head attention architecture并重点强调了学习关系表示。论文中对四个数据集WN18RR、FB15k-237、NELL-995、Kinship进行的基准测试中显著提高了SOTA性能。实际上这种方法要比ACL会议上同一天展示的下面介绍的另外一个方法要更好。图10Taken from Nathani et al.Bansal等人[31]提出了A2N的方法这是一种带有近邻注意力neighbourhood attention的知识图谱嵌入技术。作者在评估中证明从近邻中获取信息可以更好地表示多重关系multi-hop relation。在关系预测的基准测试中A2N的表现与ConvEx相当有时候甚至更好。不过与前面提到的方法比起来要稍显逊色一些。我建议作者可以比较一下训练时间和内存消耗。图11A2NGoogle提出一种新颖的知识图嵌入方法关注邻居结点Xu和Li的工作[32]和前两篇工作有些不一样他们使用二面体群不懂的同学请翻翻群论的书来给KG嵌入的关系建模。要想读懂这篇论文就需要坚实的数学基础了可以尝试挑战一下自己?简单来说就是二面体群可以为谓词的非阿贝尔成分译者注所谓非阿贝尔即A*B! B*A建模例如parent_of * spouse_of ! spouse_of * parent_of这里*表示矩阵乘积。此外这种方法也能够对谓词见的对称和反对称关系进行建模。这种方法在传统基准测试中的表现并不比ConvE好多少这主要是因为传统基准包含了大量的阿贝尔元素成分不过在作者构建的更侧重于非阿贝尔元素的数据集FAMILY上它们能够取得优秀的成绩。需要强调的是这篇文章绝对值得一看不过确实需要一些数学基础。Kutuzov等人[33]提出了一种构建知识嵌入的新框架在这个框架中他们不再使用基于向量的距离函数而是采用基于图的最优测度类似于最短路径并插入了自定义结点相似度函数例如Leacock-Chodorow。不过虽然这种方法能够提高推理速度但却没有充分利用结点和边的特征。作者表示将在未来的工作中进一步完善期待ingStadelmeier和Pado两人[34]提出了一个上下文路径模型context path modelCPM目的是在传统KG嵌入方法的基础上提供一个可解释层。作者在文章中建议使用两个优化分数1路径校正分数2三元组和路径之间的相关性分数。Wang等人[35]在他们的论文“On Evaluating Embedding Models for Knowledge BaseCompletion”中提出了KG嵌入评估中反复出现的一个问题KG嵌入预测在逻辑上是否一致例如在图中我们会有一些规则像“Roger can’t befriends with David” (instance level)“Humans can’t be made of Wood” (class level)这意味着应该考虑KG嵌入并降低此类陈述出现的可能性。但作者发现现在大部分KG嵌入模型都会给相当不切实际的三元组分配一个非零的概率值。总 结总结一点1越来越多的人开始将知识图谱应用在NLP的各种领域2关于知识图谱的各种新数据和新任务越来越频繁地出现。这些可以在会议议程中查到。参考资料[1]https://sites.google.com/view/nlp4convai/[2]https://homes.cs.washington.edu/~yejin/[3]https://sites.google.com/site/ruhisarikaya01/home[4] https://www.microsoft.com/en-us/research/people/jfgao/[5] https://www.aclweb.org/anthology/P19-1081[6] https://sites.google.com/view/acl-19-nlg/slides[7] https://www.aclweb.org/anthology/P19-1598[8] https://rloganiv.github.io/linked-wikitext-2/[9]https://arxiv.org/abs/1904.03396[10]https://arxiv.org/pdf/1907.09361.pdf[11] https://www.mitpressjournals.org/doi/pdf/10.1162/tacl_a_00262[12]https://arxiv.org/pdf/1906.06187.pdf[13] https://www.aclweb.org/anthology/P19-1417[14] https://www.aclweb.org/anthology/P19-1488[15] https://www.aclweb.org/anthology/P19-1226[16] https://www.aclweb.org/anthology/P19-1415[17] https://www.aclweb.org/anthology/P19-1616[18] https://www.aclweb.org/anthology/P19-1620[19]https://www.aclweb.org/anthology/P19-1470[20]https://arxiv.org/pdf/1906.06127.pdf[21] https://www.aclweb.org/anthology/P19-1023[22]https://www.aclweb.org/anthology/P19-1278[23]https://www.aclweb.org/anthology/P19-1128[24]https://www.aclweb.org/anthology/P19-1279[25]https://www.aclweb.org/anthology/P19-1335[26]https://www.mitpressjournals.org/doi/pdf/10.1162/tacl_a_00250[27]https://www.aclweb.org/anthology/P19-1010[28]https://www.aclweb.org/anthology/P19-1616[29] https://arxiv.org/pdf/1906.02505.pdf[30]https://www.aclweb.org/anthology/P19-1466[31] https://www.aclweb.org/anthology/P19-1431[32] https://www.aclweb.org/anthology/P19-1026[33] https://www.aclweb.org/anthology/P19-1325[34] https://www.aclweb.org/anthology/W19-4816[35] https://arxiv.org/pdf/1810.07180.pdfvia https://medium.com/mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
