医疗网站建设策划书,主机安装wordpress,天津建设工程信息网评标专家怎么查询评审项目,浅析图书馆门户网站建设合适的数据集或者语料是优秀的自然语言研究工作的基础#xff0c;然而找寻合适的数据集通常是一件耗时耗力的工作。这时候一份优质的数据集汇总就能帮助科研人员#xff0c;在研究开始的时候事半功倍。这篇文章就向你介绍一份优质的数据集汇总#xff0c;帮助你的研究工作轻…合适的数据集或者语料是优秀的自然语言研究工作的基础然而找寻合适的数据集通常是一件耗时耗力的工作。这时候一份优质的数据集汇总就能帮助科研人员在研究开始的时候事半功倍。这篇文章就向你介绍一份优质的数据集汇总帮助你的研究工作轻松选择一片合适的用武之地。本文主要介绍由我研究中心博士生侯宇泰收集整理的一个任务型对话数据集大全。图1. 数据集汇总项目这份数据集大全涵盖了到目前在任务型对话领域的所有常用数据集的主要信息。此外为了帮助研究者更好的把握领域进展的脉络我们以Leaderboard的形式给出了几个数据集上的State-of-the-art实验结果。数据集的地址如下https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey一背景介绍什么是任务型对话 我们收集的数据集主要针对任务型对话研究Task-oriented Dialogue。任务型对话系统指在特定的情境下帮助用户完成特定任务的对话服务系统例如帮助用户订餐、订酒店的对话系统。近年来随着亚马逊Alex微软小娜苹果Siri等个人语音助理业务的兴起基于对话的人机交互方式得到了广泛的关注相关的研究也越来越多俨然成为一个富有潜力的研究方向。图2. 语音助手目前任务型对话的研究可以大体分为两类基于流程的任务型对话Pipeline以及端到端的任务型对话End-to-End。基于流程的任务型对话是相对较为传统的方法。这种任务型对话的系统通过一套Pipeline流程实现。如图3所示 任务型对话系统的流程依次包括自然语言理解、对话状态跟踪、对话策略学习自然语言生成模块。具体的用户输入自然语言对话系统按流程依次完成分析用户意图更新对话状态根据对话策略做出动作生成最终的自然语言回复。图3. Pipeline任务型对话然而Pipeline流程式的对话系统存在错误级联和标注开销大的问题为此最近有一部分研究尝试通过直接进行端到端的任务型对话学习来规避这些问题。端到端式对话系统根据用户输入句子直接给出自然语言回复。二为什么要做数据集汇总任务型对话任务并不是新课题但是针对任务型对话的广泛研究在最近几年才兴起。任务型对话研究的方兴未艾反映在数据和语料上就是目前现有的任务型对话数据集数量少且其他成熟的任务已有的数据集在数据量上要少的多。 在这种情况下尽可能多找到并有效的利用已有的数据资源就成为开展研究的关键之一。然而搜罗并全面的寻找合适的数据集是一个费时费力的工作所以整理统计目前已有的任务型对话领域的数据集的信息是有必要的可以极大地为相关研究工作提供便利让研究工作得以地快速开始。除了数据本身的信息有价值之外在重要数据集上的实验结果提升过程可以很大程度上反映自然语言研究的前进脉络。所以简单的数据集信息罗列并不能让我们满意我们还计划提供一些常用数据上的实验结果和对应论文的信息。从而帮助研究人员了解和把握任务型对话领域研究的推进脉络。我们选择以Leaderboard的形式呈现数据集上的部分实验结果。三数据汇总的内容介绍1数据集信息针对每个数据集我们统计并总结了如下几个方面的内容。表1. 数据集内容及说明内容说明Name数据集名称Introduction数据集简介Link (Download Paper)数据下载链接和对应论文的链接Multi or single turn对话数据是多轮还是单轮Task对话数据是否为任务型对话Task detail对话数据取自什么应用情景如订餐导航等Whether Public Accessible是否可以免费下载Size Stats数据量、标注量统计Included Label数据包括的标注类型Missing Label数据缺失的标注类型类似其他常见数据集汇总工作我们为每个数据集提供了名称下载链接简介数据量等信息。除了这些基本信息我们还涵盖了一些任务型对话数据的特有的研究内容例如Multi or single turn对话数据是多轮还是单轮是任务型对话数据的重要属性单轮对话数据往往用于自然语言理解任务多轮对话数据往往用于端到端任务、对话策略学习、对话状态跟踪。Task detail数据适用于什么应用情景也是一个独特的关键信息通过这个信息研究者可以快速理解数据开展Multi-domain 或Domain-transfer研究。2. 实验结果Leaderboard对于一些研究常用数据我们提供了上面的一些State-of-the-art实验结果并以Leaderboard的形式呈现具体包括内容如下表2. Leaderboard内容及说明内容说明Model模型的名称Score主要实验结果F1分数准确率等Paper/Source模型对应论文的名称和链接其中我们的模型名称采用出处论文中的表述分数的评价指标以具体的任务而定。实验结果列表配合上论文链接可以让读者快速地了解一个任务。此项信息内容仍在完善中。四数据集汇总内容样例1. 数据集介绍样例数据集的汇总目前以表格的形式收录了17个数据的细节信息。读者可以在github项目中Excel文件或者Readme中直接查看。数据的格式如图4所示。图4. 数据细节样例2. Leaderboard 样例我们以Leaderboard 的形式展示了语义槽抽取Slot filling用户意图识别Intent detection对话状态跟踪Dialogue state tracking三个任务上的一些领先结果。具体形式如图5所示。图5. Leaderboard的样例五关于内容补充的邀请我们欢迎各种形式的内容完善包括但不限于直接提交Pull Request向我们发送新数据向我们发送新的实验结果已发表论文六其他数据集汇总地址如下https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey
