新乡手机网站建设服务,群晖wordpress搭建网站,千库网是什么,外贸商城网站资质作者#xff1a;Pulkit Sharma#xff0c;2019年1月21日翻译#xff1a;陈之炎校对#xff1a;丁楠雅本文为你详细介绍序列模型#xff0c;并分析其在不同的真实场景中的应用。简介如何预测一个序列中接下来要发生什么事情是一个非常吸引人的课题#xff0c;这是我对数据…作者Pulkit Sharma2019年1月21日翻译陈之炎校对丁楠雅本文为你详细介绍序列模型并分析其在不同的真实场景中的应用。简介如何预测一个序列中接下来要发生什么事情是一个非常吸引人的课题这是我对数据科学如此着迷的原因之一有趣的是——人类的头脑确实擅长于此但是机器却不是这样的。如果一本书中有一个神秘的情节人类的大脑就会开始预测出结果然而如何教会机器来做类似的事情呢多亏了深度学习我们今天能做的事情比几年前要多的多。处理序列数据的能力如音乐歌词、句子翻译、理解评论或构建聊天机器人-所有这些都要归功于序列建模。这便是我们在本文中需要学习的内容由于这是deeplearning.ai专业系列课程的一部分我希望读者能够了解到某些概念。如果你还没有读过前几篇文章或者还需要快速复习一下可以访问以下链接深度学习和神经网络入门指南(deeplearning.ai第1课)https://www.analyticsvidhya.com/blog/2018/10/introduction-neuric-networks-deep-learning/改进神经网络–超参数调整、正则化和其他(deeplearning.ai第2课)https://www.analyticsvidhya.com/blog/2018/11/neuric-networks-hyperparameter-tuning-regularization-deeplearning/从零开始学习卷积神经网络的综合教程(deeplearning.ai第4课)https://www.analyticsvidhya.com/blog/2018/11/neuric-networks-hyperparameter-tuning-regularization-deeplearning/在本节课程中我们将看到如何将序列模型应用到不同的真实场景中去如情感分类、图像字幕等。课程目录课程结构课程内容序列模型序列模型课程内容如下 一、模块1循环神经网络(RNNs)二、模块2自然语言处理(NLP)和单词嵌入 2.1 单词嵌入简介 2.2 学习单词嵌入Word2vec GloVe 2.3 单词嵌入的应用程序三、模块3序列模型与注意力(Attention)机制到目前为止我们已经在这个系列课程中涵盖了相当多的内容以下是对所学概念的简要概括深度学习和神经网络基础。浅层和深层神经网络的工作原理。如何通过超参数调整、正则化和优化来提高深度神经网络的性能。如何通过scratch实现卷积神经网络。现在我们把重点转向序列建模本课程分为三个模块(官方课程名称为Andrew Ng教授的深度学习专业课程第5课)在模块1中我们将学习循环神经网络及其工作原理此外还将在本模块中介绍GRU和LSTM。在模块2中重点学习自然语言处理和单词嵌入。我们将学到如何将Word2vec和Glove框架应用于学习单词嵌入最后模块3将介绍注意力(Attention)模型的概念。我们将学到如何将大而复杂的句子从一种语言翻译成另一种语言。准备好了吗那我们便从模块1开始第5课序列模型的学习吧由于平台系统字数限制后续推出模块2自然语言处理(NLP)和单词嵌入、模块3序列模型与注意力(Attention)机制敬请关注一、模块1循环神经网络第5课第一模块的目标是了解什么是循环神经网络(RNN)学习包括LSTM、GRUS和双向RNN在内的多种算法如果这些缩写听起来令人生畏不要担心——我们会很快把它们解决掉。1. 首先为什么是序列模型为回答这个问题将向你展示一些在真实场景中应用到的序列模型示例。语音识别这是一个很常见的应用(每个有智能手机的人都会知道这一点)在这里输入是一个音频剪辑板模型生成文本转录。在这里音频被认为是一个序列随着时间的推移输出为一系列单词。情感分类序列模型的另一个流行应用是情感分类。我们将一个文本句子作为输入模型必须预测出句子的情感(积极、消极、愤怒、兴奋等)输出可以为分级或标星。DNA序列分析给定一个DNA序列作为输入期望模型能够预测出哪一部分DNA属于哪一种蛋白质。机器翻译用一种语言输入一个句子比如法语希望模型能把它转换成另一种语言比如英语。在这里输入和输出都是序列视频活动识别这实际上是利用序列模型对即将到来的事件(和当前的趋势)进行预测该模型用来预测给定视频中正在进行的活动在这里输入是一个帧序列。名称实体识别这当然是我最喜欢的序列模型示例。如下图所示我们用一句话作为输入并希望模型能识别出该句子中的人名现在在做进一步深入探讨之前需要讨论几个重要的符号你会在整个文章中看到这些符号。2. 将在本文中使用到的符号我们用“x”来表示一个句子为方便理解以下面的示例句子为例X哈利和赫敏发明了一种新的咒语。现在我们用x来表示句子中的每个词x1 哈利x2赫敏等等上述句子的输出将是Y1 0 1 0 0 0 0在这里1表示这个单词代表一个人的名字(0表示它是其他)。下面是我们经常用到的一些常用符号Tx 输入句长度Ty 输出句长度x(i) ith 训练样本x(i) ith训练样本的tth训练Tx(i) ith输入句长度此时我们或许会问——如何在一个序列中表示一个单独的单词呢嗯这里我们要依靠词汇表或字典即我们在句子中使用到的单词列表词汇表结构如下所示词汇表的大小因不同的应用而异通常从训练集中挑选出现频度最高的单词来制作词汇表。现在假设我们想表示单词“Harry”这个词它在词汇表中的位置是4075th 位我们对这个词汇进行一次编码以表示“Harry”通常x是一个独热编码向量我们将1放在第4075t位置所有其余的单词将表示为0。如果单词不出现在词汇表中会创建一个未知的标记并将其添加到词汇表中。就这么简单3. 循环神经网络(RNN)模型当XY之中有一个是序列或者X和Y都是序列时我们使用循环神经网络来学习从X到Y的映射。但是为什么不能用一个标准的神经网络来解决这些序列问题呢问得太好了下面让我用一个例子来做出解释。假设我们需要构建下述神经网络这里主要有两个问题输入和输出没有固定的长度也就是说一些输入语句可以是10个单词而其他的可以是10(大于或小于)。最终输出也是如此如果使用一个标准的神经网络我们将无法在不同的文本位置上共享所学的特征。为此需要建立一种表示用它来解析不同长度的句子并减少模型中的参数数量。这就是我们要用到循环神经网络的地方这便是典型RNNRNN获取第一个单词(x1)并将其馈送到预测输出(y‘1)的神经网络层。重复此过程直到最后一步x生成最后的输出y‘这是输入字数和输出字数相等的网络。RNN按从左到右的顺序扫描数据。注意RNN在每个时间步长中使用的参数是共享的在每个输入层和隐藏层(Wax)之间、每个时间步长(Waa)之间以及隐藏层和输出层(Wya)之间共享参数。因此如果需要对x3进行预测我们也会得到关于x1和x2的信息。RNN的一个潜在缺点是它只从先前的时间步长获取信息而不是从后续的时间步长获取信息。这个问题可以用双向RNN来解决我们会在稍后进行讨论。现在我们来看看RNN模型中的前向传播的步骤a0 是一个全零向量我们计算与标准神经网络相类似的激活函数a0 0a1 g(Waa * a0 Wax * x1 ba)y1 g’(Wya * a1 by)同样我们可以计算每个时间步长的输出。这些公式的一般形式可以写成可以用更为简洁的方法列出这些方程水平叠加Waa 和Wya 以获得Waa和x垂直叠加。目前只有一个矩阵而不是带着两个参数的矩阵。简言之这便是循环神经网络的前向传播原理。3.1 时间轴上的反向传播接下来你可能会看到这种情况-反向传播步骤与前向传播的方向正好相反。我们有一个损失函数为了得到准确的预测需要将它最小化。损失函数由以下公式给出我们计算每个时间步长里的损失最后对所有这些损失求和以计算序列的最终损失在前向传播中我们从左向右移动即增加时间t的步长。在反向传播中我们从右向左移动即在时间轴上向后移动(因此称为时间反向传播)。到目前为止我们看到的是输入和输出序列长度相等的应用场景。但是如果输入和输出序列长度不等的情况又如何呢我们将在下一节中看到这些不同的应用场景。 3.2 不同种类的RNN可以用多种不同类型的RNN来处理序列长度不同的示例。这些问题可分为以下几类多对多前面看到的名称实体识别示例属于这个类别。假设我们有一系列的单词对于每个单词我们必须预测它是否是一个人名。针对此类问题的RNN架构如下对于每个输入字我们预测它对应的输出字。多对一来看看情绪分类问题我们将一个句子传递给模型它将返回与该句子对应的情感或评级。这是一个多对一的问题输入序列可以有不同的长度而输出只有一个。针对此类问题的RNN架构如下所示这里我们在句子结束时会得到一个输出。一对多以音乐生成为例我们希望用音乐作为输入来预测歌词。在这种情况下输入只是一个单词(或一个整数)输出的长度可变。这类问题的RNN体系结构如下所示还有一种RNN在工业上广泛使用即机器翻译将一种语言的输入句翻译成另一种语言。这是一个多对多的问题输入序列的长度可能等于也可能不等于输出序列的长度。在这种情况下我们有编码器和解码器。编码器读取输入语句解码器将其转换为输出语句3.3 语言模型和序列生成假设需要建立一个语音识别系统我们听到一句话“苹果和梨沙拉很好吃”。该模型将预测什么——“苹果配梨沙拉很美味”还是“苹果和梨沙拉是美味”我希望是第二句话语音识别系统通过预测每个句子的概率来选择句子。但是又如何来构建语言模型呢假设有一个输入语句猫平均每天睡15小时构建语言模型的步骤如下第1步标记输入即创建字典第2步将这些单词映射到一个编码向量可以添加的标记来表示句子的结束。第3步构建RNN模型我们取第一个输入词并对其进行预测输出会告诉我们字典中任意单词的概率是多少。第二个输出会告诉我们给定第一个输入字的预测词的概率RNN模型中的每一步都会查看前面的一组单词以预测下一个单词。训练RNN模型会遇到各种各样的挑战这将在下一节进行讨论。3.4 RNN的梯度消失循环神经网络的最大问题之一是它会陷入梯度消失。怎么回事我们来考虑这两个句子那只猫吃了一堆食物已经吃饱了。猫已经吃了一堆食物之后都已经吃饱了。以上两个句子中哪一句语法正确是第一句。(如果你错过了请再读一遍)基本RNN不擅长捕获长期依赖项这是因为在反向传播过程中来自输出Y的梯度将很难传播回来从而影响先期层的权重。因此在基本RNN中输出受到更接近该单词的那个输入的影响。为避免这种情况的发生我们可以通过设置一个预先定义的阈值来对它们进行剪辑。 3.5 门控循环单元(GRU)GRU是RNN的一种改进形式。它们在捕获更长范围的依赖关系方面非常有效并且有助于解决梯度消失问题。在时间步长t中计算激活的公式为RNN的隐藏单元如下图所示一个单元的输入是来自前一个单元的激活和该时间步长的输入字。在计算该步长的激活和输出的时候我们在这个RNN中添加一个存储单元以便记住当前单词以外的单词。来看看GRU的方程c a其中c是一个存储单元。在每个时间步长内将c这便是更新c值的候选值。我们还定义了一个更新门利用这个门的值来决定是否更新存储单元更新门的方程为请注意因为使用sigmoid来计算更新值所以更新门的输出总是在0和1之间。我们使用先前的存储单元值和更新门输出来更新存储单元。c的更新方程如下当门值为0时c c即不更新c当门值为1时c c对值进行更新。举一个例子来理解这一概念当遇到cat这个词时门(gate)值为1对于序列中的所有其他单词门(gate)值为0因此cat的信息将被携带到单词“was”。我们期望模型能预测到单词were的地方应该是was。GRUS就是通过这种方式来助力于记忆长期依赖关系下面是这个可视化工具会有助于你理解GRU工作原理 每个单元均有三个输入a, c 和x以及三个输出a, c 和 y(hat)。 3.6 长期短期记忆(LSTM)当前LSTM在深度学习中非常流行。由于它们的复杂性现在可能没有很多工业应用程序但请相信我它们很快就会出现。花点时间学习这个概念是值得的——将来它会派上用场。为了更好地理解LSTM让我们一起回顾一下在GRU那个小节中看到的所有方程在计算c的相关性时只是添加了一个门(gate)而这个门(gate)告诉我们c与c的更新值之间是如何相关的对于GRUs来说, a c。LSTM是增强版的GRU它的应用更为普遍。LSTM的方程式为这和GRU的类似对吧我们只是使用a取代了c。更新门的公式也可以写为在LSTM中还有一个遗忘门和一个输出门。这些门的方程与更新门的方程相类似最后将c的值更新为下一层的激活将是你会使用哪种算法——GRU还是 LSTM每种算法都有各自的优点。你会发现它们的准确度取决于你试图解决的问题的类型。GRU的优势在于它有一个更简捷的架构因此我们可以用它来构建一些大的模型然而 LSTM则更为强大和有效因为它有3个门。3.7 双向RNN到目前为止我们看到的RNN架构只关注序列中先前的信息。如果我们的模型能够同时考虑到序列的先前信息和后续信息同时在特定的时间步长中进行预测那会有多棒啊是的这完全有可能做到欢迎来到双向RNN的世界。但是在介绍双向RNN以及它们的工作原理之前还是让我们先看看为什么需要它。来看看一个命名实体识别问题我们想知道序列中的一个单词是否代表一个人名。看看下面这个例子他说“泰迪熊在打折“如果我们把这个句子输入一个简单的RNN模型会预测“Teddy”是一个人的名字。它没有考虑到这个词后面会发生什么。通过双向RNN可以解决这个问题。现在假设我们有一个4个单词的输入序列双向RNN看起来像利用以下公式计算RNN单元的输出同样可以有双向GRU和双向LSTM。使用双向RNN的缺点是在进行预测之前必须先查看整个数据序列。但是标准的B-RNN算法对于构建和设计大多数NLP应用程序时效率是非常高的。 3.8 深度RNN还记得深度神经网络的样子吗它有一个输入层一些隐藏层和一个输出层。深度RNN也类似它采用相似的网络架构并在时间轴上展开这里激活函数的表示法如下假设需要计算a[2]3 这是为深度RNN准备的。深呼吸这些内容是不是不难消化后续请关注模块2自然语言处理(NLP)和单词嵌入的学习译者简介陈之炎北京交通大学通信与控制工程专业毕业获得工学硕士学位历任长城计算机软件与系统公司工程师大唐微电子公司工程师现任北京吾译超群科技有限公司技术支持。目前从事智能化翻译教学系统的运营和维护在人工智能深度学习和自然语言处理(NLP)方面积累有一定的经验。业余时间喜爱翻译创作翻译作品主要有IEC-ISO 7816、伊拉克石油工程项目、新财税主义宣言等等其中中译英作品“新财税主义宣言”在GLOBAL TIMES正式发表。能够利用业余时间加入到THU 数据派平台的翻译志愿者小组希望能和大家一起交流分享共同进步— 完 —关注清华-青岛数据科学研究院官方微信公众平台“THU数据派”及姊妹号“数据派THU”获取更多讲座福利及优质内容。
