做pc网站排名,网页设计与制作简介,上海网页公司,浙江省建设工程质量安全管理协会网站文章目录CNN卷积paddingpoolingBP其他CNNResNets残差网络——图像数据应用CNN
Hebb学习律#xff08;无监督 如果两个神经元在同一时刻被激发#xff0c;则他们之间的联系应该被强化对神经元的重复刺激#xff0c;使得神经元之间的突触强度增加 Delta学习律#xff08;有监…
文章目录CNN卷积paddingpoolingBP其他CNNResNets残差网络——图像数据应用CNN
Hebb学习律无监督 如果两个神经元在同一时刻被激发则他们之间的联系应该被强化对神经元的重复刺激使得神经元之间的突触强度增加 Delta学习律有监督弥补之前的DNN的缺陷 图大DNN的参数太多 基本思想—得到了某种程度的位移、尺度、形变不变性 局部感知野局部连接稀疏连接-减少参数数量 非全连接图近的关联性强远的弱减少了权值数目 参数共享减少参数数量 一个卷积核用在图的任何地方一个卷积核可以检测同一种特征利用了平移不变性 不是逐层训练的 优点 到了某种程度的位移、尺度、形变不变性层间联系和空域信息的紧密的关系使其适于图像处理和理解避免了显示特征抽取隐式抽取 特征抽取和模式分类同时进行并同时在训练中产生减小参数使得网络更简单适应性更强 如何计算以解决语义鸿沟 特异性局部性、方向和尺度选择性不变形对小的位置、方向、尺度变化有容忍层级性从简单模式到复杂模式非线性从输入x-y是复杂的非线性映射 CNN 多层层级性卷积特异性pooling:不变性 旋转不变性平移不变性 激活函数非线性功能: 不同卷积核检测不同特征
卷积
卷积计算局部链接 一维 核m[1,1,1]数据x[1,2,3,4,5,6]步长1结果c[1·11·21·32·13·14·1。。。,4·15·16·1] 二维 计算m是m1*m2的与x对应相乘后相加 三维 步长1数据(a1,a2,a3),卷积核f,f,f)结果大小a1-f1,a2-f1,a3-f1 一个卷积核对一张图能够生成1张图可以多卷积核生成多张图可看做图的不同通道特别的卷积核——能检测到的输出高 垂直边缘检测的卷积核 [10−110−110−1]\left[ \begin{matrix} 1 0 -1\\1 0 -1\\1 0 -1\end{matrix} \right]⎣⎡111000−1−1−1⎦⎤也有可识别特定曲线的卷积核对特定图像输出高其他低
padding
padding 卷积会让图变小边缘只计算了一次会丢失边缘信息目的使得卷积不让图变小做法边缘补0 paddingp上、下、左、右各补p行/列结果(n2p,n2p) 尺寸计算 图(n,n)filter卷积核f*fpadding:pstride步长s结果(n2p−fs1,n2p−fs1)(\frac{n2p-f}{s}1,\frac{n2p-f}{s}1)(sn2p−f1,sn2p−f1) 单层卷积网络的参数 g(conv(x)b)l-层数 fl,pl,slf^l,p^l,s^lfl,pl,sl输入ncl−1个nHl−1,nWl−1图n_c^{l-1}个n_H^{l-1},n_W^{l-1}图ncl−1个nHl−1,nWl−1图输出ncl个nHl,nWl图n_c^{l}个n_H^{l},n_W^{l}图ncl个nHl,nWl图 $ n_H{l}n_W{l}\frac{n{l-1}2p{l}-f{l}}{s{l}}1$ 卷积核的数目ncl−1个(flfl)n_c^{l-1}个(f^lf^l)ncl−1个(flfl)权值$n_c{l-1}*(fl*fl)*n_c{l} $bncln_c^{l}ncl
pooling
pooling池化 子采样下采样降维 max多用这个反向传播残差无约简ave 反向传播残差会约简1L2 pooling(f,f)则sf——无重叠池化层无paddingpadding0池化后尺寸(n−fs1,n−fs1)(\frac{n-f}{s}1,\frac{n-f}{s}1)(sn−f1,sn−f1),同卷积
计算移动padding…尺寸改变…反向传播卷积对应相乘后相加按步长s移动可能重叠也可能不重叠paddingp,上下左右各补p(n2p−fs1,n2p−fs1)(\frac{n2p-f}{s}1,\frac{n2p-f}{s}1)(sn2p−f1,sn2p−f1)卷积核上下左右翻转后再卷积反卷积池化max,ave,L2不重叠的移动sfp0,无padding(n−fs1,n−fs1)(\frac{n-f}{s}1,\frac{n-f}{s}1)(sn−f1,sn−f1)ave:各项填充ave/fmax:一个max其他0
BP
CNN结构 padding-convg(convb))-pooling多层神经网络 每层多个二维面每个面有多个独立神经元 训练 监督代价函数 最小化平方误差MSE最小化相对熵Relative entropy BP 前向后向 输出层链式法则池化层反池化(残差上采样卷积层反卷积 1个图A–2个核–2个图C1,C2) 反卷积(相加 C1–核1–A1C2–核2–A2A–A1A2
其他CNN
LeNet-5文字识别系统 输出层全连接无边缘sigmoid—梯度消失平均池化—信息约简准确度高 改进CNN 用relu/tanh 加速收敛0,为1梯度不会消失sigmoid会稀疏化0.为0 dropout 隐藏层以一定概率清0可以将dropout看做是模型平均的一种 局部归一化max池化不会残差约简 ImageNet CNN max poolingreludropoutnormconv-relu-maxpool-norm VGG CNN16层 conv 3*3,s1max-pool 2*2,s2same-padding:边缘填充 googleNet—very deep 自动学习超参数inception把所有卷积核加入到网络中让网络自适应地决定使用哪个卷积核加一层1·1的conv减少通道1000层也可以训练
ResNets残差网络——
可以保证收敛性 因为一般神经网络网络层数增加会反而上升错误率残差网络不会他至少不会变差 why work 因为残差网络容易学习恒等式函数随着网络加深至少不会让网络变差对网络权重的波动变化更敏感
图像数据应用
图像分类图像检测多个目标也检测出来目标定位 图像-cnn softmax 是否有如果有在哪里返回坐标长宽 loss平方损失函数MSE 特征点检测卷积的滑动窗口实现RCNN 先找到2000候选框传统图像分割方法再分更准确fast RCNN 整体卷积将候选框映射到卷积结果上在分类 faster rcnn 用卷积找候选框 人脸识别 人脸验证是否是某个人人脸识别是否是系统中的某个人实际系统中一个人只有一张照片新来一张照片与所有系统中照片对比看是否有相近的Siamese网络 不用softmax将每个人映射成一个向量判断是否是一个人只需要求向量差的范数即可 二分类 向量网络得到–一层逻辑回归连个向量是否一致 triplet损失
