福州网站建设兼职,德州 网站建设,郑州小程序开发公司排名,商城网站案例知识结构化问答是知识图谱的一个重要的应用方向#xff0c;虽然现在许多真实的使用体验上#xff0c;会被评价为“鸡肋且智障”#xff0c;并且在落地上还没有太多的付费场景#xff0c;但也不乏有不少学生、公司、机构在尝试花时间去做这个事情。当前#xff0c;医疗知识…知识结构化问答是知识图谱的一个重要的应用方向虽然现在许多真实的使用体验上会被评价为“鸡肋且智障”并且在落地上还没有太多的付费场景但也不乏有不少学生、公司、机构在尝试花时间去做这个事情。当前医疗知识图谱QAonMilitaryKG成为了不少朋友都会参考的一个问答快速实现demo的案例网上也有不少的复现和踩坑记录总结。本文则围绕着医疗知识图谱QAonMilitaryKG和军事武器知识图谱问答两个项目进行简要介绍希望可以作为大家的一个指引。
一、军事武器知识图谱构建与自动问答项目QAonMilitaryKG QAonMilitaryKGQaSystem based on military knowledge graph that stores in mongodb which is different from the previous one, 基于mongodb存储的军事领域知识图谱问答项目包括飞行器、太空装备等8大类100余小类共计5800项的军事武器知识库该项目不使用图数据库进行存储通过jieba进行问句解析问句实体项识别基于查询模板完成多类问题的查询主要是提供一种工业界的问答思想demo。 项目地址 https://github.com/liuhuanyong/QAonMilitaryKG 1、项目背景 基于知识图谱或知识库的问答KBQA是目前垂直领域或百科领域问答中使用较多的一种问答方式本质上是在做结构化数据的匹配查询任务。笔者之前利用neo4g图数据库上基于医疗领域结构化知识库阐述了基于图数据库的医疗知识图谱构建与问答方案并实现了一个简单的demo。项目见:(https://github.com/liuhuanyong/QASystemOnMedicalKG) 技术选型是实现自动问答系统的一个重要环节这项工作与数据样式关系尤为密切。经验上来说对于实体类型较多以及实体关系种类较多的知识库使用图数据进行知识存储是个较好的选择。而对应实体类型较少实体关系较少实体属性较多以及带有时序性的数据时选用文档型数据库mongodb是个不错的选择。 军事领域是敏感度、机密系数较高的一个领域其数据价值很高获取相关军事数据并提供一个便捷的人机交互方式具有重要的战略意义。军事中的装备信息军事基地信息军事作战部队之间的关联信息以图谱的形式组织能够在作战策略推荐军事人员培训上起到重要作用。目前公开的军事资料不多收录较全的有环球军事网其中的人物战役兵器库术语库等为军事提供了一个很好的信息平台。其中武器库是其中结构化程度较高的一项数据其中包括了飞行器、舰艇等8大类武器轰炸机等100余小类共计5800项武器结构化数据。这为结构化知识问答提供了一个的数据因此本项目选择该数据集作为知识库使用mongodb进行自动问答的实验。 2、项目目标 本项目目的在于采集并解析军事武器库网站进行字段信息的标准化形成一定规范、规模的军事武器装备结构化知识库。 实现基于mongodb的军事领域知识库的自动问答。 1项目框架 2项目构成 1.数据集类型及统计信息
2.数据样式
3.问句类型
3项目运行 主要文件构成如下
3项目运行 1.执行insert_data.py将输入倒入至mongodb当中。 2.执行military_qa.py开始进行问答测试。 3.若需要进行自我重新构建数据可运行collect_data.py。 4项目结果
二、医药领域知识图谱快速及医药问答项目QAonMilitaryKG 本项目立足医药领域以垂直型医药网站为数据来源以疾病为核心构建起一个包含7类规模为4.4万的知识实体11类规模约30万实体关系的知识图谱并以此作为实验数据底座实现一个基于规则的快速知识图谱问答。项目地址 https://github.com/liuhuanyong/QASystemOnMedicalKG 1、数据来源 该项目的数据来自垂直类医疗网站寻医问药使用爬虫脚本data_spider.py以结构化数据为主构建了以疾病为中心的医疗知识图谱实体规模4.4万实体关系规模30万。schema的设计根据所采集的结构化数据生成对网页的结构化数据进行xpath解析。项目的数据存储采用Neo4j图数据库问答系统采用了规则匹配方式完成数据操作采用neo4j声明的cypher。 1实体类型及统计信息
2关系类型及统计信息 3属性类型及统计信息
2、实现框架
3、支持的问题类型
4、项目构成 1.question_classifier.py问句类型分类脚本 2.question_parser.py问句解析脚本 3.chatbot_graph.py问答程序脚本 5、项目效果 三、实践总结 以上两个项目分别以基于mongodb、neo4j作为数据存储方式给出了两个实现方法。分别以军事武器库网站、医疗网站进行字段信息的标准化形成一定规范、规模的结构化知识库。在一定程度上还原了入门级的问答范式该架构图朴实且如实地介绍了面相结构化文本的知识构建以及结构化查询流程以及粗略实现细节。 面向具有数字型数据的结构化知识的问句的形式有多种主要有纯属性值查询如单实体单属性单实体多属性多实体单属性多实体多属性等问题。带筛选条件查询如如单属性值与多属性值区间查询。最值条件查询共三种本项目初步实现了对这三种主要问句类型问答。 在实体识别属性值识别数值识别上主要采用的方式是领域词及扩展词配合正则表达式的方式来实现没有使用学习模型。作为军事领域学习模型在武器类实体识别上效果可能不会太好在识别后进行实体链接映射会遇到一定困难。 实体与查询属性项之间的对应和成对是整个问答查询的最核心所在以上两个项目使用基于关系模板穷举的方式、基于问题关键词分类的方式完成该目标准确率较高但缺点是穷举可能性不大构造成本较高。而既然是结构化知识问答那么业务场景下的问答应该是简单的多实体多属性混杂出现的情况应该要少一些即问题的问答可以很多样但问题的内部结构不应太复杂否则就丢失了自动问答解放信息杂糅的本意了。 知识图谱是结构化知识的一种方式存储方式可以用关系型可以用nosql也可以用图数据库不同的方式的区别在于sql的转化上。在关系级联程度不高的情况下使用非图数据库可能会是更好的方式。深度学习在工业界问答中在基于qa对检索中用的比较多在结构化知识图谱查询中较难大显身手集中应用点在实体论元识别上个人认为在实体属性关系的识别上不会很惊艳很有可能没有规则来的快来的准确。
关于作者 刘焕勇liuhuanyong现任360人工智能研究院算法专家前中科院软件所工程师主要研究方向为知识图谱、事件图谱在实际业务中的落地应用。 得语言者得天下得语言资源者分得天下得语言逻辑者争得天下。 1、个人主页https://liuhuanyong.github.io。 2、个人博客https://blog.csdn.net/lhy2014/。 欢迎对自然语言处理、知识图谱、事件图谱理论技术、技术实践等落地应用的朋友一同交流。
