asp网站建设 文献,网站开发年度总结工作,wordpress 简历,印度电商平台网站建设策划推荐阅读时间#xff1a;8min~13min推荐理由#xff1a;这是在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的第一部分RNN尤其LSTM的介绍之后#xff0c;整个人醍醐灌顶。10. 从RNN说起循环神经网络#xff08;Recurrent Neural Network#xff0c;RN… 推荐阅读时间8min~13min推荐理由这是在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的第一部分RNN尤其LSTM的介绍之后整个人醍醐灌顶。10. 从RNN说起循环神经网络Recurrent Neural NetworkRNN是一种用于处理序列数据的神经网络。相比一般的神经网络来说他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义RNN就能够很好地解决这类问题。2 普通RNN先简单介绍一下一般的RNN。其主要形式如下图所示图片均来自台大李宏毅教授的PPT通过序列形式的输入我们能够得到如下形式的RNN。3 LSTM2.1 什么是LSTM长短期记忆Long short-term memory, LSTM是一种特殊的RNN主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说就是相比普通的RNNLSTM能够在更长的序列中有更好的表现。LSTM结构图右和普通RNN的主要输入输出区别如下所示。2.2 深入LSTM结构下面具体对LSTM的内部结构来进行剖析。下面开始进一步介绍这四个状态在LSTM内部的使用。敲黑板LSTM内部主要有三个阶段4 总结以上就是LSTM的内部结构。通过门控状态来控制传输状态记住需要长时间记忆的忘记不重要的信息而不像普通的RNN那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说尤其好用。但也因为引入了很多内容导致参数变多也使得训练难度加大了很多。因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。对于GRU我会在以后的文章中进行介绍。
