乐清手机网站优化推广,北海市住房和城乡建设局网站,全媒体运营技巧和工具,深圳网站建设公司招聘RNN既可以表述为循环神 经网络#xff08;recurrent neural network#xff09;#xff0c;也可以表述为递归神经网络#xff08;recursive neural network#xff09;#xff0c;前者一般用于处理以时间序列为输入的问题#xff08;比如把一个句子看成词组成的序列recurrent neural network也可以表述为递归神经网络recursive neural network前者一般用于处理以时间序列为输入的问题比如把一个句子看成词组成的序列每次向循环神经网络输入一个词知道整个句子输入结束。后者一般用于处理图结构或树结构问题比如为了处理歧义问题我们构造语法树为输入而不是循环输入每一个词。 下图是循环神经网络的展开 图1 下面是一个句子对上图的应用 图2 可以这样理解将所有用到的英文词向量化之后the表示为0.4,0.3对应图1中的x输入经过神经元计算之后输出为1,3.5神经元内部的计算方式为: 函数f通常是诸如tanh或者ReLU的非线性函数,UxSt-1都为向量且U、V、W都是待训练参数。输出O可以选择softmax函数其表达式如下 这里的变量i对应图1中的变量t可见 也就是说循环神经网络所有输出之和为1输出O的计算公式为 其中V和St都是向量。也就是说神经元先计算隐状态St然后计算输出Ot 下面以树结构为例来说明递归神经网络的输入与计算 1.将句子分词之后给每个词一个向量这里词的向量化可以采用one-hot或者其他一些向量化工具比如Google的gensim 2.将词按照树形结构输入以图3为例 图3 2.1 首先计算“两个”和“外语学院”的父节点的向量计算方法是假设“两个”的词向量表示为c1“外语学院”的词向量表示为c2那么父节点对应的向量P为 其中W和b是训练好的参数tanh是双曲正切函数表达式为 2.2 依次迭代计算各个父节点对应的向量最终得到根节点对应向量。 因为是以语法树输入的所以对于歧义问题有较好的处理能力比如图3中的句子也可以用图4的语法树来表示 图4 事实上图3与图4对应的根节点向量完全不同因为词向量的输入顺序是不一样的。 在得到根节点向量后我们就可以去完成一些更高级的任务比如计算语义相似度或者情感分析等。转载于:https://www.cnblogs.com/xueyinzhe/p/7441639.html
