开网站公司,网络营销主要学些什么,wordpress第一篇文章id,建立wordpress数据库从知识图谱被大家所熟知之后#xff0c;知识图谱自身已经成为“知识图谱”的一个潮流#xff0c;许多领域、许多行业在各个层级#xff0c;都在大规模地进行知识图谱方面的结合尝试。而这种尝试#xff0c;本质上包括两种#xff0c;一种是以项目的方式做知识图谱#xf…从知识图谱被大家所熟知之后知识图谱自身已经成为“知识图谱”的一个潮流许多领域、许多行业在各个层级都在大规模地进行知识图谱方面的结合尝试。而这种尝试本质上包括两种一种是以项目的方式做知识图谱即解决方案另一种是以产品的方式做知识图谱即做标准化的知识平台。不同的做法会带来不同的问题最近自己也正经历着这两种方式的转变发现了一些问题有些思考写出来与大家一同分享。
一、知识图谱标准化平台的六个问题
1、知识图谱当前的应用场景是什么 关于知识图谱的应用场景目前畅想的已经足够多。但本质上应用场景还是要从知识图谱自身的技术特性出发。知识图谱最大的意义其实在于其schema即标准化的知识约束这种约束能够将不同来源的数据、不同格式的数据进行融合形成一个互联的数据。而这种互联也自然而然地衍生出来了许多场景比如关联分析、推荐、关联推理等等。但成也schema败也schema这种schema自身是存在很多问题的体现在schema的颗粒度、schema的覆盖度schema的准确度。这三个角度直接决定了后期知识图谱的构建难度和使用体验。
2、知识图谱目前是做方案还是做标准化产品 任何一项技术都会经历从方案到标准化产品的过渡。解决方案的好处在于能够紧贴业务具体问题具体分析能够在某个垂直的领域或者数据上做到比较好的交付效果。但这种方式对于一个公司或者企业而言不是长久之计因此这种方案不具备复制性从一个客户到另一个客户可能就需要全部或者大部分从头开始并为此花费大量的人力无法迅速扩展。所以产品的设计者以及上层的管理者都更希望能够从这种业务中抽离出来形成一个标准化的产品形成一个具有标准化生产流程的流水线将整个知识图谱构建进行平台化用户只需要根据平台的要求结合自己的业务进行适配、执行既可以得到具体的应用效果。这种方法的好处在于具有业务的抽象性和可复制性能够在不同的业务之间进行快速复制可以提高生产力但这种方式无疑是理想化或者过于理想化的。因为业务的抽象本质上就是一个抽象概括的过程 是忽视个体差异性的一个过程而这种差异性也就导致这个平台在设计之初就会必然地涉及到主观性、抽象的粒度、平台运行效果的不可控等诸多因素的困扰使得整个平台的交付能力较差。事实上从2020年的下半年开始就陆续出现了不少知识图谱构建平台如华为的知识图谱构建平台诸多公司也在建立类似的平台。这是一个趋势但这种趋势不见的是一个正确的短期可行的的方式。至少在未来几年我们可以发现在简单场景业务简单、数据准确性不敏感中或许会有直接的应用但相对来说比定是少数简单场景所带来的付费能力也必然是少的。在复杂场景下得到大规模的应用还需要很长的时间。因此综合来看在未来几年里知识图谱还是以项目为绝对主导标准化产品还需要经历业务毒打和用户验证会是一个处于长期验证和迭代的状态。
3、作为标准化知识图谱平台是什么 标准化的知识图谱平台其核心价值在于代替在进行知识图谱项目解决方案中的整个流程通过标准化组件的方式进行组装使得流程自动化最大程度上的发挥机器的优势以减少人力。因此这种平台在构建上就必然会包括知识图谱构建的标准化构建环节。从构成上看一个标准化的知识图谱平台大体包括知识图谱的知识定义模块、知识图谱的知识获取模块、知识图谱的知识治理模块、知识图谱的知识应用四个模块。知识定义是知识获取的指南知识获取后进行知识治理才有实际价值因为知识不治理其中的知识陈旧、知识不准确回直接影响到后续的知识应用模块所以各个环节都是十分重要的。
4、作为标准化知识图谱平台中知识定义的坑 知识定义是标准化知识图谱平台的首要成分也是遇到的第一个难题我之前有篇文章中对这种schema的定义展开了一些论述认为这种schema实际上是很难去定义出来了。其颗粒度、覆盖度、准确度的设置会直接影响后续知识获取和知识治理的难度。以最近做的一些知识图谱项目为例对于一个垂域的知识图谱一个实体定义了近50种的属性这固然想的很全面但是后面在进行知识标注构建实体、实体关系的训练数据的时候发现标注的结果是相当糟糕的主要体现在错标、漏标十分严重而为什么会出现这种问题主要有两个方面的原因。一个是标注的难度二是标注的方式。因为标注的人首先很有可能不是专业的业务专家而是一些实习生或者一些业务专员毕竟算法工程师比较贵他们大多都是经历过很短的时间培训后就展开大量的标注。其次由于标注是篇章级的一个人要从一篇文档中标注出四十多类知识点其标注的空间解是很大的一条条捋下来漏标自然会很严重。另外由于文本标注本身就存在主观性因此对于同一个名称的标注很多人的理解是不一样的例如一个实体有名称、代号、型号等很有可能很多人压根就分辨不出来这样很有可能就变成了错标而由于标注工具分包的问题就直接导致了不同的人标注不同的文档这么一重叠就直接导致了标注数据的低质量。这种低质量后续交给模型去拟合自然就会得到“garbage in, garbage out”的恶性循环当中。因此为了尽可能减少这种原则上不可避免的东西不仅需要在标注数据平台的设计上进行好好设计将标注数据平台的易用性以及支持不同模式下的标注分包考虑进去。例如设计的时候要以标注的易选性放在首位一个实体会有名称标记、代号标记有的平台只提示代号如M1-M45代表不同的实体或属性这种代号在标注人员开来很陌生根本对不起来哪个是哪个标注的方式可以根据按文档数量分包也可以按照任务分发如某些人负责某类知识的标注一个文档像一个流水线一样进行标注当然要考虑任务之间的依赖关系比如任务3需要任务2执行完成后才能执行这样的好处在于能够减少标注人员在进行标注时的压力也能保证一类实体或属性标准的唯一性。最后一个方面一定要控制知识在定义时候的范围因为实践表明在预先定义好的知识本体中实际上得到标注的可能不到50%。因此需要加以控制不然的话会给后续的知识获取直接带来小样本学习的难度。
5、作为标准化知识图谱平台中知识获取的坑 知识获取环节在整个平台过程当中是一个承上启下的功能其需要依据上一环节中定义好的知识将结构化、半结构化的、非结构化的知识都融合进来。当然在这里需要具体任务具体分析对于结构化的由于知识单元都已经是结构化形成的一个个固定单元因此只需要进行数据映射进行完成半结构化的也可以根据解析的方式进行映射非结构化的则需要经历知识标注、模型训练、模型测试、模型发布与运行几个阶段。其中知识标注环节目前开放的知识标注平台已经有一些例如docano、brat等各个公司也在逐步地进行本土化或者自行设计开发以解决不同的标注任务。通在模型训练中知识获取这个平台更多的是将一系列的经典抽取模型列表进行内嵌化和黑盒化如实体识别模型、实体关系抽取模型、事件抽取模型只暴露出模型的名称、模型的输入样式以及输入的参数用户在操作的过程中只需要加载经过标注的数据地址选择相应的模型进行训练即可。其中的各个模型其实就是一个模型抽象的过程可以从各个评测任务中抽离出来将其sota的解决方案进行标准化封装即可。模型的测试则是对模型训练后进行的评估检验用户需要根据模型的反馈结果自行地进行参数调节以达到上线条件最后到模型的发布。但其中涉及到一个问题即模型的管理问题以及模型的参数调节问题因为模型的调参本质上是一个技术问题不懂技术的业务人员是不理解的他们根本就不清楚一个lr学习率对一个模型的影响因此在这个地方这个功能的设置本身就是伪命题除非这个平台能够自动地去自学习。事实上这个环节是最吃力不讨好的因为一个通用模型性能的好坏受制于多个方面比如标注数据的质量、训练样本的多样性、模型自身的鲁棒性等。而在标注数据这一端还是“garbage in , garbage out”的思想“garbage”的判定实际上是业务或者算法人员通过观察对比语料显式的发现的是一个在明处的有监督的过程。而这一过程一旦不透明或者缺少或者没有审核的过程是无法得到一个很好的支撑的。而一个模型的效果不好需要准确地归类出来到底是哪个问题并且将这个问题反馈出来这种机制本身就存在挑战。相较与解决方案模式下的算法人员反复查看数据定位问题并且挖掘bad case的密切分析方式如何将这种方式标准化成机器自动反馈的流程本质上还是存在问题的。总结的来说就是知识获取环节需要自动地发现问题、反馈问题并自动地根据问题进行调整使得整个过程可控用户的学习、使用成本降至最低。
6、作为标准化知识图谱平台中知识治理的坑 通过知识获取得到的结构化知识大概率是不敢用的因为其得到的结果还是处于一种较为粗糙的结果需要进行进一步的加工加入版本信息、时间信息、知识实证信息等多种标识。其中最大的工作就是对知识进行标准化、知识融合以及知识控制。知识标准化是其中最为关键的事情也是直接决定知识可用性的前提。例如速度这个属性值有的抽取结果是功力每小时有的米每秒。有的实体名称写的是全称有的写的是简称有的写的是英文名称有的只是写的其中的一个型号而如何进行实体对齐、属性归一也在具体实施过程中同样又会出现与知识定义、知识获取中一样的问题比如归一目标的标准设计、归一模型实体对齐模型、实体融合模型训练数据的标注、训练模型的反馈等。知识治理的目的是最大程度上地对知识标注、知识获取这两个环节中所累积的错误进行排除和最小化以保证整个知识的准确性和可用性而从用户的角度上来说他需要利用这些知识来进一步产生价值因此就必须有证据或者有理由让用户觉得这个知识是可信的是可以为人所接受的。而如何将这种接受进行量化的标签化则需要对知识给出置信度以及丰富的上下文信息如版本信息、时间信息、知识实证信息加以佐证以赢得用户的信赖。因此在这个环节的设计中需要充分考虑这些因素将用户反馈、模型反馈、模型的结果等信息考虑进去。
6、作为标准化知识图谱平台中知识应用的坑 知识治理的直接结果就是向知识应用提供可信、可用的知识图谱数据。制约知识应用的最大问题往往不是知识的规模而是知识的可信性和可用性。小知识能够发挥出作为小数据的最大价值至少其是准确的。大知识如果其中很多知识是错误的那么得到数据也必然是站不住脚的这样就丧失了其作为大数据的价值。当然对接知识图谱结构化数据进行知识应用的场景很多例如基于知识图谱的问答基于知识图谱的可视化检索基于知识图谱的推荐等等这个相对知识图谱的构建本身来说反而技术没那么苛刻敏感性也相对弱一些。其在具体应用的过程中往往会处于一个迭代的状态如考虑到应用的QPS时延性、数据查询的效率问题等等toC场景往往对于时延性是很高的toB则没那么苛刻这些问题当然也可以作为反馈信息上传至知识治理当中以决定使用什么样的数据库类型、存储架构等等。
二、知识图谱标准化平台的总结 上述以六个问题自问自答的方式对知识图谱标准化构建平台的思考进行了几点介绍。归结起来就以下几个点。 1、由于不同业务的壁垒以及算法模型的迁移能力较差整个知识图谱的构建过程流程长、人为参与力度较大。在未来很长一段时间内知识图谱还是只能做项目式解决方案知识图谱构建平台很长一段时间内会由于整个流程的不可控性在中度及以上复杂度场景下处于实验室级别不会出现大规模具有实际交付效果的平台。
2、知识图谱构建平台的搭建是一个结构十分复杂的工程其最终的形态是要形成一个具有高质量交付能力的、质量可信、质量可用的知识图谱生产标准化车间。在这种指引下很难将原先算法工程师、业务人员在对具体业务场景、业务数据中所作出的差异化工作用模块化的组件进行代替这需要在产品设计上反复磋商、设计在目前开来除非模型本身、整个平台本身能够自反馈、自生长、自优化尽量让用户当傻瓜地一键式使用很显而易见的是这个目标是目前AI技术的终极挑战。因此在未来很长一段时间不会出现阵阵具有高可用的平台出现会长期处于**“低能”的初级阶段**。
3、标准化的知识图谱构建平台包括知识定义、知识获取、知识治理、知识应用等多个环节。每个环节都存在诸多不可控的因素这些因素也是制约知识图谱最终落地的拦路虎。因此每个环节都需要作为一个单独的模块进行人性化、可控性的设计。例如设计支持多种标注模式、能够减少标注人员思考复杂度的标注工具。在知识获取的过程中设计出能够将业务人员和算法人员都能看懂且能够介入的训练方式以保证整个训练的过程可控、可反馈和迭代优化。在知识治理阶段设计出能够查看结构化知识非结构化知识来源、定位、知识点置信度以及丰富的上下文信息等组件并为最后的知识图谱应用提供最优的图谱数据库选型以及架构选型。 三、写在最后 知识图谱标准化构建平台是一个阶段性的理想型有条件实现产物是一个融合工程、业务、算法三者为一体的复杂系统。就如知识图谱自身一样学界、业界都需要进一步的更务实而少务虚地围绕一些具体的问题去探索去建模才能进一步地将这种“有条件实现”中的条件列表不断压缩最终逼近那个目标。
刘焕勇liuhuanyong主页https://liuhuanyong.github.io360人工智能研究院算法专家主要研究方向为知识图谱与事件图谱的应用落地。
