wordpress 建站对比,女生学电子商务好吗,品牌建设的规划与实施,专业郑州做网站1. 简介
随着深度学习发展#xff0c;越来越多的模型被发现和应用#xff0c;模型的体量也越来越大#xff0c;出现了模型过于庞大和参数冗余的问题。同时#xff0c;移动端对模型的需求也是越轻量越好#xff0c;因此#xff0c;模型压缩和加速技术应运而生。
模型压缩…1. 简介
随着深度学习发展越来越多的模型被发现和应用模型的体量也越来越大出现了模型过于庞大和参数冗余的问题。同时移动端对模型的需求也是越轻量越好因此模型压缩和加速技术应运而生。
模型压缩和加速的方案有4种参数修剪和共享去除不重要的参数、低秩分解使用矩阵/张量分解来估计深层CNN【应该适应于其他神经网络模型】中具有信息量的参数、迁移/压缩卷积滤波器通过设计特殊结构的卷积核以减少存储和计算成本、知识精炼设计教师模型和学生模型即训练一个更加紧凑的神经网络模型以再现大型网络的输出结果
模型压缩的方法分为前端和后端两种后端的压缩方法会改变网络结构压缩结果不可逆。 2. 入门级技术量化
初级技术是通过量化或者牺牲精度来降低每一个权重所需要的占用的空间从而压缩和加速深度神经网络模型。量化技术包括
标量量化
对参数矩阵的所有标量值进行聚类然后存储每一个矩阵值得索引和聚类中心
乘积量化
把原始数据划分为若干个子空间在每个子空间分别进行聚类
残差量化
首先对原始的参数矩阵W进行聚类得到Wc计算残差WW-Wc然后对残差继续聚类。
二值化
设定一个阈值若权重大于该阈值将该权重量化为1否则量化为-1。
3. 初级技术修剪
初级技术是修剪法修剪不重要的连接或者通道来减少模型冗余。主要分为非结构化修剪和结构化修剪。
非结构化修剪
为了学习更加复杂的数据集模型有两方面的趋势一方面是进行大型矩阵相乘运算来训练数据集另一方面是把深度网络部署到低能耗、嵌入式设备。常见的方法有
静态阈值法给网络参数设定阈值低于阈值的都丢弃掉Dropout以等概率性丢弃一些节点Adaptive Dropout使用伯努利分布取样的概率正比于激活值Winner-Take-All只保留隐藏层排名前k%的激活值随机性哈希法采用局部敏感性哈希来提高最大内积搜索效率从而快速选择激活值最大的那些节点
结构化修剪
常见方法有
滤波器修剪分为HFP和SFPHFPHard Filter Pruning是一种粗粒度修剪方法寻找一些指标对卷积核进行排序对不符合指标的卷积全部删除然后再对网络进行微调SFPSoft Filter Pruning是在每一个epoch训练结束之后将被修剪的卷积核的值置为0但是会参与到下一次迭代。通道修剪两个步骤第一步是通道选择使用L1范数约束将权重置为0使得权重稀疏并减掉稀疏的通道第二步是重建用最小二乘法进行约束使得修剪前后特征图一致。4. 中级技术稀疏化技术
正则化
正则化是修改目标函数和学习问题从而得到一个参数较少的神经网络分为结构正则化和非结构正则化非结构正则化是L0L1L2结构化正则化是group-lasso范式和L2.1范式。
知识精炼Knowledge DistillationKD
知识精炼可以将深度和宽度的网络压缩为千层模型该压缩模型模仿了复杂模型所能实现的功能。基本思想是通过软目标学习教师输出的类别分布而将大兴教师模型的知识精炼为较小的模型。
张量分解
张量分解也叫低秩分解或者低秩近似方法有SVD分解、Tucker分解。
秩是度量矩阵行列之间的相关性如果矩阵的各行和各列都是线性无关的矩阵就是满秩秩等于行数低秩是矩阵的行列可以用其他行列代替存在一定的数据冗余。
5. 高级技术轻量级模型设计
相较于在已经训练好的模型上进行压缩处理轻量化模型设计主要思想是设计更搞笑的网络计算方式从而使得网络参数减少的同时不损失网络性能。
5.1 SqueezeNet
SqueezeNet提出了一种fire module来进行卷积操作它分为两个部分squeeze层和expand层squeeze层是压缩层使用1*1的卷积核来减少通道数量其卷积核数要少于上一层feature map数。expand是扩展层分别使用1*1和3*3的卷积并将分别得到的结果进行合并。
5.2 深度可分离卷积
深度可分离卷积Depthwise Separable Convolution是将标准卷积分解成深度卷积Depthwise Convolution以及一个1*1的卷积即逐点卷积Pointwise ConvolutionDC是对输入的特征图的每一个通道分别使用一个卷积核然后所有卷积核的输出再进行拼接。 PC是1*1的卷积可以自由改变输出通道的数量也可以对DC的结果进行通道融合。特殊的结构使DSC的效率较高常用在轻量化模型中。
1MobileNet
MobileNet是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络。MobileNet基于一个流线型的架构使用DSC来构建还引入了Width Multiplier和Resolution Multiplier两个超参数WM是宽度因子用于控制输入和输出的通道数RM是分辨率因子用于控制输入和内部层表示即控制输入的分辨率。
MobileNet有三个版本
V1基于深度可分离卷积而构建的模型
V2基于倒置残差结构
V3使用NAS搜索
详解回头补充吧
2ShuffleNet
ShuffleNet是通道洗牌channel shuffle是将各部分特征图的通道进行有序地打乱构成新的特征图以解决分组卷积带来的信息流通不畅的问题。
3Inception和Xception
Inception模型是GoogleNet提出的一种为解决卷积核选择困难的问题的方案使用3个不同大小的卷积核对输入图片进行卷积操作并附加最大池化将这4个操作的输出沿着通道这一维度进行拼接构成的输出特征图将会包含经过不同大小的卷积核提取出来的特征从而达到捕捉不同尺度信息的效果。 Inception模块采用多通路(multi-path)的设计形式每个支路使用不同大小的卷积核最终输出特征图的通道数是每个支路输出通道数的总和这将会导致输出通道数变得很大尤其是使用多个Inception模块串联操作的时候模型参数量会变得非常大。为了减小参数量Inception模块在每个3x3和5x5的卷积层之前增加1x1的卷积层来控制输出通道数在最大池化层后面增加1x1卷积层减小输出通道数。 Xception的X是extreme是基于Inception V3来改进的采用了DSC模型目的不在于模型压缩而是提高性能。
6. 自动化工具
6.1. PaddleSlim
PaddleSlim是一种深度学习模型压缩的工具库提供剪裁、量化、蒸馏和模型结构搜索等模型压缩策略帮助用户快速实现模型的小型化。百度公司提出的
具体细节参考
简介 — PaddleSlim 文档
6.2. PocketFlow
PocketFlow是一个开源框架用于以最少的人力压缩和加速深度学习模型。深度学习广泛应用于计算机视觉、语音识别和自然语言翻译等各个领域。腾讯公司提出的
Home - PocketFlow Docs
参考:
《深入理解AutoML和AutoDL》——王健宗瞿晓阳
