北京智能网站建设哪里好,建立学校网站需要多少钱?,建筑人才网报名平台,北京百度关键词排名文章目录 1.神经元和感知器1.1.什么是感知器1.2.什么是单层感知器1.3.多层感知机#xff08;Multi-Layer Perceptron#xff0c;MLP#xff09; 2.激活函数2.1.单位阶跃函数2.2.sigmoid函数2.3.ReLU函数2.4.输出层激活函数 3.损失函数4.梯度下降和学习率5.过拟合和Dropout6.… 文章目录 1.神经元和感知器1.1.什么是感知器1.2.什么是单层感知器1.3.多层感知机Multi-Layer PerceptronMLP 2.激活函数2.1.单位阶跃函数2.2.sigmoid函数2.3.ReLU函数2.4.输出层激活函数 3.损失函数4.梯度下降和学习率5.过拟合和Dropout6.神经网络反向传播法7.TensorFlow游乐场 神经网络的工作原理是什么 1.神经元和感知器
1.1.什么是感知器
感知器其实可以理解为一个黑盒函数接收若干个输入产生一个输出的结果这个结果就代表了感知器所做出的决策。
如图圆圈表示一个感知器它可以接收多个输入产出一个结果结果只有两种情况“是”与“否”。 感知器内部决策的原理其实就是给不同的因素赋予不同的权重重要性。然后设置一个阈值如果加权计算之后的结果大于等于这个阈值就说明可以判断为是否则就是否。所以感知器本质上就是一个通过加权计算函数进行决策的工具。
1.2.什么是单层感知器
单层感知器是一个只有一层的神经元。感知器有多个二进制输入x1、x2、…、xn每个输入有对应的权值或权重w1、w2、…、wn将每个输入值乘以对应的权值再求和(∑xjwj)然后与一个阈值比较大于阈值则输出1小于阈值则输出0。 如果把公式写成矩阵形式再用b来表示负数的阈值即b ‒threshold则进一步简化为 感知器加权计算之后再输入到激活函数中进行计算得到一个输出。类比生物学上的神经元信号从人工神经网络中的上一个神经元传递到下一个神经元的过程并不是任何强度的信号都可以传递下去信号必须足够强才能激发下一个神经元的动作电位使其产生兴奋激活函数的作用与之是类似的。 单层感知器的激活函数为阶跃函数是以阈值0界限值为界的若小于等于0则输出0对应神经元抑制否则输出1对应神经元兴奋。
单层感知器无法解决线性不可分的问题只能用于二元分类且无法学习比较复杂的非线性模型。将多个单层感知器进行组合得到一个多层感知器。
1.3.多层感知机Multi-Layer PerceptronMLP 网络的最左边的层被称为输入层其中的神经元被称为输入神经元。
最右边的输出层包含输出神经元图中只有一个单一的输出神经元但一般情况下输出层也会有多个输出神经元。MLP对输出层神经元的个数没有限制。
中间层被称为隐藏层因为里面的神经元既不是输入也不是输出。隐藏层是整个神经网络最为重要的部分它可以是一层也可以是N层隐藏层的每个神经元都会对数据进行处理。MLP没有规定隐藏层数量。隐藏层的层数越多其复杂度也越大。
通常把具有超过一个隐藏层的神经网络叫作深度神经网络。
每个感知器都对输出结果有一定比重的贡献单个感知器权重或偏移的变化应该对输出结果产生微小影响这里需要使用非线性的激活函数sigmoid、softmax和ReLU等可解决线性不可分的问题。
2.激活函数
激活函数就是在神经网络的神经元上运行的函数负责将神经元的输入映射到输出端。
2.1.单位阶跃函数
以0为界输出从0切换为1或从1切换0其值呈阶梯式变化所以称之为阶跃函数。
但是这个函数是由两段水平线组成具有不连续、不光滑等不太好的性质所以它无法用于神经网络的结构。因为如果使用它作激活函数的话参数的微小变化所引起的输出的变化就会直接被阶跃函数抹杀掉在输出端完全体现不出来无法为权重的学习提供指引这是不利于训练过程的参数更新的。 在神经网络中较常用的激活函数包括sigmoid、tanh、ReLu以及softmax函数。它们都是非线性的函数。激活函数给神经元引入了非线性因素它应用在隐藏层的每一个神经元上使得神经网络能够用于表示非线性函数这样神经网络就可以应用到众多的非线性模型中。
2.2.sigmoid函数 函数的特点是左端趋近于0右端趋近于1两端都趋于饱和
相对于阶跃函数只能返回0或1sigmoid函数可以返回0.731…、0.880…等实数。感知器中神经元之间流动的是0或1的二元信号而神经网络中流动的是连续的实数值信号。
2.3.ReLU函数 当输入小于0时输出为0当输入大于0时输出与输入相等。ReLU函数是分段线性函数把所有的负值都变为0而正值不变。
相比于其他激活函数来说ReLU函数有以下优势
对于线性函数而言ReLU函数的表达能力更强尤其体现在深度网络中而对于非线性函数而言ReLU函数由于其非负区间的梯度为常数因此不存在梯度消失问题使得模型的收敛速度维持在一个稳定状态。
梯度消失当梯度小于1时预测值与真实值之间的误差每传播一层会衰减一次。如果在深层模型中使用sigmoid作为激活函数这种梯度消失现象尤为明显将导致模型收敛停滞不前。
局限性只能在神经网络模型的隐藏层中使用。
2.4.输出层激活函数
多分类softmax函数它与sigmoid函数类似唯一的区别是在softmax函数中输出被归一化总和变为1可以认为其为概率分布。
二分类sigmoid函数
3.损失函数
损失函数(Loss Function)用来度量真实值和预测值之间的差距在统计学中损失函数是一种衡量损失和错误这种损失与“错误地”估计有关程度的函数。
神经网络模型的训练是指通过输入大量训练数据使得神经网络中的各参数如权重系数w不断调整从而“学习”到一个合适的值使得损失函数最小。
分类问题损失函数交叉熵(Cross Entropy)
交叉熵在神经网络中作为损失函数p为真实标记分布q则为训练后模型的预测标记分布交叉熵损失函数可以衡量p与q的相似性。
交叉熵在分类问题中常常与softmax函数搭配使用softmax函数将输出的结果进行处理使其多个分类的预测值的和为1再通过交叉熵来计算损失。
4.梯度下降和学习率
应该如何训练采用什么方式一点点地调整参数找出损失函数的极小值最小值
梯度衡量的是如果我们稍微改变一下输入值函数的输出值会发生多大的变化。 就比如下山此时山上的雾很大什么也看不见。那么可以以当前所处的位置为基准寻找这个位置最陡峭的地方然后朝着下降方向走一步然后又继续以当前位置为基准再找最陡峭的地方往下走直到最后到达最低处。
步长大小称为学习率。在下降过程中步长越大梯度影响越大。我们可以通过步长来控制每一步走的距离。
学习率是深度学习中的一个重要的超参数决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。
优化器(Optimizer)算法会根据训练算法的过程而自适应地修正学习率。例如SGD(Stochastic Gradient Descent随机梯度下降算法)、Adam算法自适应时刻估计算法
5.过拟合和Dropout
随着迭代次数的增加训练损失(Train Loss)越来越好但测试损失(Test Loss)的结果确越来越差。训练损失和测试损失的差距越来越大模型开始过拟合(Overfit)。
过拟合会导致模型在训练集上的表现很好但针对验证集或测试集表现则大打折扣。
Dropout是指在深度学习网络的训练过程中按照一定的概率将一部分神经网络单元暂时从网络中丢弃相当于从原始的网络中找到一个更“瘦”的网络从而解决过拟合的问题。 这样经过几轮训练这些神经元的个体表现力大大增强同时也减弱了神经元节点间的联合适应性增强了泛化能力。
通常是在训练神经网络的时候使用Dropout这样会降低神经网络的拟合能力而在预测的时候关闭Dropout。
可以理解为一个人在练轻功的时候会在脚上绑着很多重物但是在真正和别人打斗的时候会把重物全拿走。
6.神经网络反向传播法
神经网络可以理解为一个输入 x 到输出 y 的映射函数即 f(x) y。 f 就是我们所要训练的网络参数 w 。对于任何输入 x 可得到一个与之对应的输出 y。
训练最符合真实数据 f 的过程就是神经网络的训练过程。神经网络的训练可以分为两个步骤一个是前向传播另外一个是反向传播。
前向传播是从输入层到输出层从输入层(Layer1)开始经过一层层的层不断计算每一层的神经网络得到的结果以及通过激活函数处理的本层输出结果最后得到输出y^计算出了y^就可以根据它和真实值y的差别来计算损失值。
反向传播(BackProp)就是根据损失函数L(y^ , y)来反方向地计算每一层由最后一层逐层向前去改变每一层的权重也就是更新参数即得到损失值之后反过去调整每个变量以及每层的权重。
反向传播就是对比预测值和真实值继而返回去修改网络参数的过程。
对于反向传播算法最初所有的边权重(Edge Weight)都是随机分配的。对于所有训练数据集中的输入人工神经网络都被激活并且观察其输出。这些输出会和我们已知的、期望的输出进行比较误差会“传播”回上一层。该误差会被标注权重也会被相应地调整。重复该流程直到输出误差低于制定的标准。
7.TensorFlow游乐场
http://playground.tensorflow.org/
● Epoch训练次数。 ● Learning rate学习率在梯度下降算法中会用到。学习率是人为根据实际情况来设定的学习率越低损失函数的变化速度就越慢。 ● Activation激活函数默认为非线性函数Tanh。 ● Regularization正则化提高泛化能力防止过拟合。如果参数过多模型过于复杂容易造成过拟合。即模型在训练样本数据上表现得很好但在实际测试样本上表现得较差不具备良好的泛化能力。为了避免过拟合最常用的一种方法是使用正则化。 ● Regularization rate正则率这里是正则化加上权重参数。 ● Problem type问题类型。分类/回归
