网站关键词优化互点,中企动力北京总部地址,什么叫电商怎么做电商,什么网站发布找做效果图的一只小狐狸带你解锁炼丹术NLP秘籍作者#xff1a;孙树兵学校#xff1a;河北科技大学方向#xff1a;QA/NLU/信息抽取编辑#xff1a;小轶背景文本纠错#xff08;Spelling Error Correction#xff09;技术常用于文本的预处理阶段。在搜索引擎、输入法和 OCR 中有着… 一只小狐狸带你解锁炼丹术NLP秘籍作者孙树兵学校河北科技大学方向QA/NLU/信息抽取编辑小轶背景文本纠错Spelling Error Correction技术常用于文本的预处理阶段。在搜索引擎、输入法和 OCR 中有着广泛的应用。2020年的文本纠错自然也离不开 BERT 的表演。但原生的 BERT 在一些NLP任务如error detection、NER中表现欠佳说明预训练阶段的学习目标中对相关模式的捕获非常有限需要根据任务进行一定改造。在文本纠错任务中亦是如此。此前文本纠错的SOTA方法采用了基于 Bert 的 seq2seq 结构直接生成纠错后的字符序列。但是经观察发现这样的方法总是倾向于不进行任何纠错错误检测能力很低。一种可能的解释是 Bert 在预训练时只掩码了15%的字符所以并不能够充分学习所有字符的上下文。为了提高错误检测能力本文在SOTA方法的基础上又添加了一个错误检测网络。分错误检测和纠正两步走。先检测每一个字的错误概率然后根据检测结果将可能的错别字 soft-mask其实就是错误概率( 滑动查看完整公式 )原字符的再输给基于Bert的修正网络。这样就强制修正网络学习了错别字的上下文。下面将详细为大家介绍模型的实现细节。论文链接https://arxiv.org/pdf/2005.07421.pdfArxiv访问慢的小伙伴也可以在订阅号后台回复关键词【0610】下载论文PDF。模型结构本文提出的 Soft-Masked Bert 模型可分为三个部分检测网络采用 Bi-GRU 预测字符在每个位置出现错误的概率。用错误概率对 input embedding 做 soft-mask。soft-mask 是传统 hard-mask 的延伸。当错误概率等于1时前者退化为后者。修正网络为原文中每个位置挑选替换字。实现过程与单纯使用BERT的SOTA方法相似。检测网络检测网络是一个二分类的序列标注模型。模型的输入是character embedding序列。其中 表示字符 的 character embedding即word embedding, position embedding 和 segment embedding 的总和。输出是标签序列 。 为第 i 个字符的标签等于 1 表示字符错误0 表示正确。我们记 为 等于 1 的概率。本文采用双向 GRU(Bi-GRU) 实现检测网络。字符错误概率 可以定义为其中 表示检测网络给出的条件概率 是 sigmoid 函数 为 Bi-GRU 的隐状态, 和 是参数。隐状态可以定义为Soft-Masksoft-masked embedding 为 input embedding 和 mask embedding 的加权和。权重由该字符的错误概率得到。第i个字符的 soft-masked embedding 可形式化地定义为 是 input embedding 是 mask embedding。如果错误概率很高则 接近 。修正网络修正网络是一个基于 Bert 的多类别序列标注模型。输入为 soft-masked embedding 序列 输出为替换字符序列 。BERT 由12个相同的 block 组成。每个 block 包含一次 multi-head self-attention 操作和一个前馈神经网络。我们将BERT最后一层的隐状态序列记为 。则给定待纠错的字符序列 字符 被替换为候选字符表中第 个字符的条件概率为其中 和 为参数 是 和 Bert 最后一层隐状态 通过残差连接后得到的即 。校正网络的最后一层采用 softmax 函数从候选字符列表中选择概率最大的字符作为字符作为输出。训练过程Soft-masked BERT 的训练是 Seq2seq 进行的。训练目标包括错误检测和错误纠正两部分其目标函数分别为总目标函数为两者的线性组合。其中。实验结果在 SIGHAN 和 News Title 两个数据集上进行了实验。本文的 Soft-Masked BERT方法在两个数据集上基本都取得了最好结果。总结本文提出了一种新的神经网络结构Soft-masked Bert实现中文文本纠错。该结构包含错误检测和修正两个部分。通过Soft-mask技术将检测结果编码到修正网络。实验结果表明该方法的性能优于单纯使用Bert的基线模型。并且这一方法具有较强的普适性也可用于其他语言的纠错任务。本文收录于原创专辑《卖萌屋自然语言处理》重磅惊喜卖萌屋小可爱们苦心经营的 自然语言处理讨论群 成立三群啦扫描下方二维码后台回复「入群」即可加入。众多顶会审稿人、大厂研究员、知乎大V以及美丽小姐姐划掉????♀️等你来撩噢~手慢无可能喜欢告别自注意力谷歌为Transformer打造新内核SynthesizerNLP中的少样本困境问题探究ACL20 | 让笨重的BERT问答匹配模型变快7款优秀Vim插件帮你打造完美IDE卖萌屋原创专辑首发算法镇魂三部曲GPT-3诞生Finetune也不再必要了NLP领域又一核弹夕小瑶的卖萌屋_关注星标小夕带你解锁AI秘籍订阅号主页下方「撩一下」有惊喜哦
