建个人网站的详细步骤,印度做杂质的网站,做ui的图从哪个网站找,网站效果图怎么做论文笔记整理#xff1a;潘锐#xff0c;天津大学硕士。链接#xff1a;https://www.aaai.org/ojs/index.php/AAAI/article/view/6425来 源#xff1a;AAAI 2020论文简介保持对话的一致性和避免内容重复是构建以知识为基础的多轮对话系统的两个关键因素。尽管一些工作倾… 论文笔记整理潘锐天津大学硕士。链接https://www.aaai.org/ojs/index.php/AAAI/article/view/6425来 源AAAI 2020论文简介保持对话的一致性和避免内容重复是构建以知识为基础的多轮对话系统的两个关键因素。尽管一些工作倾向于将对话历史与外部知识如个人背景信息结合起来以提高对话质量但它们往往忽略了将相同的知识多次融入对话会导致内容重复。这一现象的主要原因是缺乏对对话层面知识使用的有效控制。为此本文设计了一种历史自适应知识融合机制构建了一种有效的多轮对话模型通过反复更新知识并逐步将其融入历史来解决内容重复问题。方法及模型1、模型概述模型由三部分组成编码器层、历史适应层和输出层。首先编码器层使用Bi-GRU分别捕获外部知识、历史信息和候选答案的上下文信息。之后利用self-attention机制识别重要信息忽略无关信息。在历史适应层中反复更新外部知识并逐步将其融入历史。这不仅有助于历史捕获知识而且可以动态更新基于历史的知识。然后利用层次递归网络提取序列信息和上下文信息。最后在输出层中计算历史记录和候选回复的相似度。2、编码器层编码器层负责提取上下文信息。具体地说知识信息P、历史信息C和候选回答信息A分别由编码模块处理。编码模块由一个Bi-GRU组件和一个self-attention组件组成。在不失去一般性的情况下,,表示句子的嵌入矩阵其中l是句子的个数k 代表句子的长度,d 代表隐藏层的大小。首先编码到, 然后用self-attention机制计算句子级表示。句子级表示更关注句子中的关键信息。对于每个句子3、历史适应层外部知识的控制和更新与对话的上下文紧密相关。本文设计了一种新的门控机制来控制外部知识信息向当前和下一轮对话的流动。一方面该模块将知识信息集成到当前的对话中获得知识感知的表示这样有助于保持对话的一致性。另一方面知识感知表示也有助于控制下一轮用于解决重复问题的知识更新。历史知识更新假设知识信息的初始状态为然后根据历史信息循环更新知识。动态更新路径如下所示在步骤 t 更新外部知识如下这里使用U有两个目的1控制流向下一轮的知识信息。2从话语层面选择语义相关的知识信息进行语境理解。对于第一个目的在和U之间进行非线性运算得到新的表示形式。然后设计遗忘门来选择新旧知识表示设计这种架构是考虑到对话的一致性和重复性。通过运用门控机制鼓励选择与当前对话语义相关的知识避免选择重复但不必要的知识。对于第二个目的将U标准化对知识表示的每一个部分进行评分得到知识感知的历史表示这种表示将外部知识结合起来以保持一致性。然后更新外部知识并逐步将其融入历史。分层历史信息编码器使用来自编码器层的不同GRU对上下文历史信息进行编码并使用self-attention机制将重要信息提取到一个向量上。编码前历史其中被送入GRU和self-attention结构。将最终有意义的历史表示表示为O。4、输出层输出层负责计算历史和候选回复的相似性从候选回复中选择上下文一致的回复。实验数据集Persona-Chat和CMUDoG datasetBaselineKV profile Mmeory (Zhang et al. 2018)和Transformer (Mazaré et al. 2018)实验结果自动评价用rk和F1作为自动度量指标。上表展示了在两个数据集上的自动评价结果可以看到与基线相比本文的模型有了显著的改进。rk和F1的改进意味着所提出的模型能够更好捕获对话中的深层语义信息并从提供的回复中选择更相关的回复。此外模型对CMUDoG数据集的改进比Persona-Chat数据集的改进要大。原因可能是CMUDoG数据集包含更多的知识和更丰富的语义。历史自适应知识更新机制可以更好地训练帮助对话有效地控制CMUDOG数据集上知识的使用。人工评价从重复性、一致性和相关性三个维度评价。首先本文的模型在人类评价方面优于基线这表明了所提出的历史子女适应机制的有效性。第二本文的模型有效减少了重复。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
