色彩搭配比较好的网站,免费软件app下载安装,国外网站参考,宁波网站推广软件AlexNet 是 2012年ILSVRC 比赛冠军#xff0c;远超第二名的CNN#xff0c;比LeNet更深#xff0c;用多层小卷积叠加来替换单个的大卷积#xff0c;结构如下图所示。
结构
预处理 原始图片#xff1a;256∗256∗3256*256*3256∗256∗3 图像处理#xff1a; 1.随机…AlexNet 是 2012年ILSVRC 比赛冠军远超第二名的CNN比LeNet更深用多层小卷积叠加来替换单个的大卷积结构如下图所示。
结构
预处理 原始图片256∗256∗3256*256*3256∗256∗3 图像处理 1.随机的剪切将 256∗256256*256256∗256 的图片剪切成为 224∗224224*224224∗224 的图片2.对 224∗224224*224224∗224 的图像做了一些旋转和位置变换3.对 224∗224224*224224∗224 的图像做了一个图像大小的扩大变成 227∗227227*227227∗227 的图片 备注实际输入AlexNet网络的图片是一个 227∗227∗3227*227*3227∗227∗3 的图片信息 激励函数论文中是sigmoid但是实际比赛的时候使用的是ReLU 总参数量60956032
L0输入层
input227∗227∗3227*227*3227∗227∗3output227∗227∗3227*227*3227∗227∗3
L1 卷积激励
input227∗227∗3227*227*3227∗227∗3filter3∗11∗113*11*113∗11∗11stripe444padding000filter size/depth48∗248*248∗2output55∗55∗48∗255*55*48*255∗55∗48∗2神经元数目55∗55∗48∗255*55*48*255∗55∗48∗2参数个数(3∗11∗111)∗48∗234944(3*11*111)*48*234944(3∗11∗111)∗48∗234944连接方式 使用双GPU来进行卷积操作这个卷积操作和普通卷积一样两个GPU并行的进行卷积操作每个GPU只负责其中48个卷积核的计算效果可以并行的计算模型模型执行效率可以得到提升并且将GPU之间的通信放到网络结构偏后的位置可以降低信号传输的损耗
L2 最大池化
input55∗55∗48∗255*55*48*255∗55∗48∗2filter3∗33*33∗3stripe222padding000output27∗27∗48∗227*27*48*227∗27∗48∗2参数个数000
L3 卷积激励
input27∗27∗48∗227*27*48*227∗27∗48∗2filter5∗5∗485*5*485∗5∗48stripe111padding222 上下左右各加2个像素filter size/depth128∗2128*2128∗2output27∗27∗128∗227*27*128*227∗27∗128∗2神经元数目27∗27∗128∗227*27*128*227∗27∗128∗2参数个数(5∗5∗481)∗128∗2307456(5*5*481)*128*2307456(5∗5∗481)∗128∗2307456连接方式各个GPU中对应各自的48个feature map进行卷积过程和普通卷积一样
L4 最大池化
input27∗27∗128∗227*27*128*227∗27∗128∗2filter3∗33*33∗3stripe222padding000output13∗13∗128∗213*13*128*213∗13∗128∗2参数个数000
L5 卷积激励
input13∗13∗128∗213*13*128*213∗13∗128∗2filter3∗3∗2563*3*2563∗3∗256stripe111padding222filter size/depth192∗2192*2192∗2output13∗13∗192∗213*13*192*213∗13∗192∗2神经元数目13∗13∗192∗213*13*192*213∗13∗192∗2参数个数(3∗3∗2561)∗192∗2885120(3*3*2561)*192*2885120(3∗3∗2561)∗192∗2885120连接方式将两个GPU中的256个feature map一起做卷积过程
L6 卷积激励
input13∗13∗192∗213*13*192*213∗13∗192∗2filter3∗3∗1923*3*1923∗3∗192stripe111padding222filter size/depth192∗2192*2192∗2output13∗13∗192∗213*13*192*213∗13∗192∗2神经元数目13∗13∗192∗213*13*192*213∗13∗192∗2参数个数(3∗3∗1921)∗192∗2663936(3*3*1921)*192*2663936(3∗3∗1921)∗192∗2663936连接方式各个GPU中对应各自的48个feature map进行卷积过程和普通卷积一样
L7 卷积激励
input13∗13∗192∗213*13*192*213∗13∗192∗2filter3∗3∗1923*3*1923∗3∗192stripe111padding222filter size/depth128∗2128*2128∗2output13∗13∗128∗213*13*128*213∗13∗128∗2神经元数目13∗13∗128∗213*13*128*213∗13∗128∗2参数个数(3∗3∗1921)∗128∗2442624(3*3*1921)*128*2442624(3∗3∗1921)∗128∗2442624连接方式各个GPU中对应各自的48个feature map进行卷积过程和普通卷积一样
L8 最大池化
input13∗13∗128∗213*13*128*213∗13∗128∗2filter3∗33*33∗3stripe222padding000output6∗6∗128∗26*6*128*26∗6∗128∗2参数个数000
L9 全连接激励
input921692169216output2048∗22048*22048∗2参数个数9216∗2048∗2377487369216*2048*2377487369216∗2048∗237748736
L10 全连接激励
input409640964096output2048∗22048*22048∗2参数个数4096∗4096167772164096*4096167772164096∗409616777216
L11 全连接激励
input409640964096output100010001000参数个数4096∗100040960004096*100040960004096∗10004096000
AlexNet结构优化
非线性激活函数ReLU
使用Max Pooling并且提出池化核和步长使池化核之间存在重叠提升了特征的丰富性。
防止过拟合的方法DropoutData augmentation数据增强
大数据训练百万级ImageNet图像数据
GPU实现在每个GPU中放置一半核或神经元还有一个额外的技巧GPU间的通讯只在某些层进行。
LRN归一化对局部神经元的活动创建了竞争机制使得其中响应比较大的值变得相对更大并抑制其它反馈较小的神经元增强了模型的泛化能力。本质上LRN是仿造生物学上活跃的神经元对于相邻神经元的抑制现象侧抑制
在AlexNet引入了一种特殊的网络层次即Local Response Normalization(LRN, 局部响应归一化)主要是对ReLU激活函数的输出进行局部归一化操作公式如下 其中a表示第i个卷积核在(x,y)坐标位置经过激活函数的输出值这个式子的含义就是输出一个值和它前后的n个值做标准化。k、n、α、β是超参数在AlexNet网络中分别为2、5、10^-4、0.75N为卷积核总数。
