做网站如何不被忽悠,酒店类网站建设方案书,绵阳网站建设scmmwl,推广方法和技巧文 | Luke知乎知识图谱是NLP的未来吗#xff1f;2021年了#xff0c;不少当年如日中天技术到今天早已无人问津#xff0c;而知识图谱这个AI界的大IP最火的时候应该是18#xff0c;19年#xff0c;彼时上到头部大厂下到明星创业公司都在PR自己图谱NLP布局能够赋予AI认知能力… 文 | Luke知乎知识图谱是NLP的未来吗2021年了不少当年如日中天技术到今天早已无人问津而知识图谱这个AI界的大IP最火的时候应该是1819年彼时上到头部大厂下到明星创业公司都在PR自己图谱NLP布局能够赋予AI认知能力。到了当下这个AI总体降温的时间节点我们是时候冷静思考知识图谱的未来到底该何去何从了。回到这个问题本身知识图谱是否是NLP的未来呢我的看法知识图谱不是NLP的未来因为知识图谱是另外一种与NLP有很多交集的技术。在目前所有已知的发展方向中知识图谱是最有可能长期和NLP互利共生的技术。那么知识图谱和NLP到底是什么关系呢直觉上看机器学习可以类比我们人类学习。回顾一下我们自己的学习过程大脑和感官主要负责信息获取、处理、分析、决策。对于简单问题或少数天才接受到信息后只需要在大脑中思考一遍即可得出结论。但是对于复杂问题比如工作汇报或期末考试只靠大脑很难记住所有信息这个时候很多人都会选择将一些加工过的结构化或半结构化的知识整理成笔记方便需要的时候快速回顾。发现了吗大脑的角色非常类似NLP以及其他ML技术而笔记几乎就是KG的灵感来源。具体来说NLP在图谱构建过程中举足轻重而图谱又通过引入知识的方式反哺NLP。不少证据已经表明诸如Bert之类的预训练语言模型本身已经存储了知识就像我们的大脑中也存在一些关键记忆一样但它不可能将所有现实世界中的事实全部内化犹如人脑不可能记住所有见过的东西一样而知识图谱通过引入知识能缓解NLP的学习压力。另一个严重的问题是由于NLP技术目前远没有人脑智能模型在训练中记住的知识实际上是不可控的此处可以围观隔壁的AI偏见问题[1]这对NLP技术的落地应用是一个需要考虑的风险而在可解释性方面知识图谱是Bug级的存在。知识图谱如何赋能NLP技术NLP技术如何赋能图谱构建的资料很多知识图谱落地应用近些年也是进展地如火如荼但知识图谱如何赋能NLP技术这个话题聊的人却不太多。我自己总结了最近几年KG赋能NLP技术的一些打法欢迎补充~预训练中引入知识代表工作ERNIE[2]使用短语和实体mask策略在中文NLP任务上取得了较好的效果其中短语和实体来自KG图2. ERNIEK-BERT[3]预训练过程中注入相关的KG三元组为模型配备领域知识提高模型在特定领域任务上的性能同时降低大规模预训练成本。图3. K-BERT信息抽取中做远程监督用KG对齐文本做远程监督标注数据是信息抽取领域的大杀器能够有效降低人工标注成本可以将实体抽取、关系抽取、事件抽取等子任务一网打尽用过的小伙伴都说好。图4. 远程监督实体链接中引入实体信息实体链接就是把文本中的mention链接到KG里的entity的任务。如下图所示[4]图5. 实体链接显然KG中的实体信息如实体描述、实体属性、实体embedding以及实体间关系等都是该任务的关键特征想深入了解的朋友请移步[4]。文本生成中融合知识通过知识图谱中的显示事实来指导生成文本是实现可控文本生成的一个重要方向如下所示[5]图6. 文本生成具体大致分为4种较为典型的方式[6]多任务学习生成文本蕴含基于knowledge graph 的文本生成基于memory network 的文本生成结合分布-采样进行文本生成想详细了解的朋友请移步[6]。语义匹配中引入关键词信息在深度语义匹配任务中有人发现通过文本中关键词之间的交互即可较为容易的找到匹配对象与其他词汇关系不大[7][8]。图7. 语义匹配case 因此考虑通过从KG中引入特定领域的关键词表然后在建模时highlight关键词的重要度从而达到更好的效果[8]。图8. 关键字注意力机制后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1]AI的偏见机器就是绝对理性的么https://baijiahao.baidu.com/s?id1684480115111405061wfrspiderforpc[2]ERNIE: Enhanced Representation through Knowledge Integration https://arxiv.org/pdf/1904.09223.pdf[3]K-BERT: Enabling Language Representation with Knowledge Graph https://arxiv.org/pdf/1909.07606.pdf[4]ab【知识图谱】实体链接一份“由浅入深”的综述 - Nicolas的文章 - 知乎 https://zhuanlan.zhihu.com/p/100248426[5]Text Generation from Knowledge Graphs with Graph Transformers https://arxiv.org/pdf/1904.02342v1.pdf[6]ab文本生成124种融合知识的text generation推荐收藏 - 林小平的文章 - 知乎 https://zhuanlan.zhihu.com/p/133266258[7]腾讯专注关键词的深度语义匹配模型 https://blog.csdn.net/qq_27590277/article/details/113777978[8]abKeyword-Attentive Deep Semantic Matching https://arxiv.org/abs/2003.11516
