自己怎么建设购物网站,永州市建设网站,建筑工程网络图片,保定市建设局网站1. 背景: 1.1 以人脑中的神经网络为启发#xff0c;历史上出现过很多不同版本1.2 最著名的算法是1980年的 backpropagation 2. 多层向前神经网络(Multilayer Feed-Forward Neural Network)2.1 Backpropagation被使用在多层向前神经网络上2.2 多层向前神经网络由以下部分组成历史上出现过很多不同版本1.2 最著名的算法是1980年的 backpropagation 2. 多层向前神经网络(Multilayer Feed-Forward Neural Network)2.1 Backpropagation被使用在多层向前神经网络上2.2 多层向前神经网络由以下部分组成输入层(input layer), 隐藏层 (hidden layers), 输入层 (output layers) 2.3 每层由单元(units)组成2.4 输入层(input layer)是由训练集的实例特征向量传入2.5 经过连接结点的权重(weight)传入下一层一层的输出是下一层的输入2.6 隐藏层的个数可以是任意的输入层有一层输出层有一层2.7 每个单元(unit)也可以被称作神经结点根据生物学来源定义2.8 以上成为2层的神经网络输入层不算2.8 一层中加权的求和然后根据非线性方程转化输出2.9 作为多层向前神经网络理论上如果有足够多的隐藏层(hidden layers) 和足够大的训练集, 可以模 拟出任何方程3. 设计神经网络结构3.1 使用神经网络训练数据之前必须确定神经网络的层数以及每层单元的个数3.2 特征向量在被传入输入层时通常被先标准化(normalize到0和1之间 为了加速学习过程3.3 离散型变量可以被编码成每一个输入单元对应一个特征值可能赋的值比如特征值A可能取三个值a0, a1, a2), 可以使用3个输入单元来代表A。如果Aa0, 那么代表a0的单元值就取1, 其他取0如果Aa1, 那么代表a1de单元值就取1其他取0以此类推3.4 神经网络即可以用来做分类(classification问题也可以解决回归(regression)问题3.4.1 对于分类问题如果是2类可以用一个输出单元表示0和1分别代表2类如果多余2类每一个类别用一个输出单元表示所以输入层的单元数量通常等于类别的数量3.4.2 没有明确的规则来设计最好有多少个隐藏层3.4.2.1 根据实验测试和误差以及准确度来实验并改进4. 交叉验证方法(Cross-Validation)-fold cross validaK-fold cross validation 5. Backpropagation算法 5.1 通过迭代性的来处理训练集中的实例 5.2 对比经过神经网络后输入层预测值(predicted value)与真实值(target value)之间 5.3 反方向从输出层隐藏层输入层来以最小化误差(error)来更新每个连接的权重(weight) 5.4 算法详细介绍 输入D数据集l 学习率(learning rate) 一个多层前向神经网络 输入一个训练好的神经网络(a trained neural network) 5.4.1 初始化权重(weights)和偏向(bias): 随机初始化在-1到1之间或者-0.5到0.5之间每个单元有 一个偏向 5.4.2 对于每一个训练实例X执行以下步骤 5.4.2.1 由输入层向前传送 5.4.2.2 根据误差(error)反向传送 对于输出层 对于隐藏层 权重更新 偏向更新 5.4.3 终止条件 5.4.3.1 权重的更新低于某个阈值 5.4.3.2 预测的错误率低于某个阈值 5.4.3.3 达到预设一定的循环次数 6. Backpropagation 算法举例 对于输出层: 对于隐藏层 权重更新 偏向更新
