互联网app开发,app优化建议,随州seo优化,怎么用dw做博客网站EfficientDet: Scalable and Efficient Object Detection
EfficientDet#xff1a;可扩展和高效的目标检测
摘要
模型效率在计算机视觉中变得越来越重要。本文系统地研究了用于目标检测的神经网络架构设计选择#xff0c;并提出了几个关键的优化方法来提高效率。首先…EfficientDet: Scalable and Efficient Object Detection
EfficientDet可扩展和高效的目标检测
摘要
模型效率在计算机视觉中变得越来越重要。本文系统地研究了用于目标检测的神经网络架构设计选择并提出了几个关键的优化方法来提高效率。首先我们提出了**加权双向特征金字塔网络BiFPN可以轻松快速地进行多尺度特征融合其次我们提出了一种复合缩放方法同时统一调整所有骨干网络、特征网络和框/类别预测网络的分辨率、深度和宽度。**基于这些优化和更好的骨干网络我们开发了一系列名为 EfficientDet 的新型目标检测器这些检测器在广泛的资源约束范围内始终比先前技术取得更好的效率。特别地在单模型和单尺度的情况下我们的 EfficientDet-D7 在 COCO test-dev 上实现了最先进的 55.1 AP拥有 7700 万参数和 410 亿 FLOPs比先前的检测器小 4 倍至 9 倍并且使用的 FLOPs 减少了 13 倍至 42 倍。代码可在 https://github.com/google/automl/tree/master/efficientdet 获取。
介绍
近年来在实现更准确的目标检测方面取得了巨大进步与此同时最先进的目标检测器也变得愈发昂贵。例如最新基于AmoebaNet的NAS-FPN检测器[45]需要167M个参数和3045B的FLOPs比RetinaNet[24]多30倍才能实现最先进的准确性。庞大的模型尺寸和昂贵的计算成本阻碍了它们在许多实际应用中的部署比如在机器人技术和自动驾驶汽车等领域模型大小和延迟受到严格限制。考虑到这些现实世界的资源约束模型的高效性变得愈发重要。
先前的研究致力于开发更高效的检测器架构例如一阶段检测器[27, 33, 34, 24]和无锚点检测器[21, 44, 40]或者压缩现有模型[28, 29]。虽然这些方法往往能够取得更好的效率但通常会牺牲准确性。此外大多数先前的工作只关注特定或一小范围的资源需求但从移动设备到数据中心等各种实际应用通常需要不同的资源约束。
一个自然的问题是是否可能构建一个可扩展的检测架构既具有更高的准确性又能够在各种资源约束范围内实现更好的效率例如从3B到300B的FLOPs本文旨在通过系统地研究各种检测器架构的设计选择来解决这个问题。基于一阶段检测器范式我们研究了骨干网、特征融合和类别/边界框网络的设计选择并确定了两个主要挑战 挑战1高效的多尺度特征融合——自[23]提出以来FPN已被广泛用于多尺度特征融合。最近PANet[26]、NAS-FPN[10]和其他研究[20,18,42]开发了更多网络结构用于跨尺度特征融合。在融合不同输入特征时大多数先前的研究简单地将它们求和而没有加以区分然而由于这些不同的输入特征处于不同的分辨率我们观察到它们通常不均匀地对融合输出特征产生贡献。为解决这个问题我们提出了一种简单但高效的加权双向特征金字塔网络BiFPN它引入了可学习的权重来学习不同输入特征的重要性同时重复应用自顶向下和自底向上的多尺度特征融合。
挑战2模型缩放——先前的研究主要依赖于更大的骨干网络[24,35,34,10]或更大的输入图像尺寸[13,45]来实现更高的准确性但当考虑到准确性和效率时我们观察到扩展特征网络和盒/类别预测网络也至关重要。受最近的研究[39]启发我们为目标检测器提出了一种复合缩放方法联合扩展了所有骨干网络、特征网络和盒/类别预测网络的分辨率/深度/宽度。最后我们还观察到最近推出的EfficientNets[39]比以往常用的骨干网络效率更高。结合EfficientNet骨干网络与我们提出的BiFPN和复合缩放我们开发了一种名为EfficientDet的新型目标检测器系列其在参数和FLOP数远远少于以往的目标检测器的情况下始终能够实现更好的准确性。图1和图4显示了在COCO数据集[25]上的性能比较。在类似准确性的约束下我们的EfficientDet使用的FLOP数比YOLOv3[34]少28倍比RetinaNet[24]少30倍比最近基于ResNet的NAS-FPN[10]少19倍。特别是在单模型和单测试时间尺度下我们的EfficientDet-D7在具有77M参数和410B FLOP的情况下达到了55.1的AP优于之前最佳检测器[45]4个AP同时规模更小、FLOP数减少了2.7倍FLOP数减少了7.4倍。我们的EfficientDet在GPU/CPU上也比以往的检测器快4到11倍。
通过简单的修改我们还展示了我们的单模型单尺度EfficientDet在Pascal VOC 2012语义分割任务上以18B FLOPs实现了81.74%的mIOU准确率与DeepLabV3[6]相比在9.8倍的FLOPs下准确率提高了1.7%。
2.相关工作
单阶段检测器现有的目标检测器主要根据是否具有感兴趣区域(proposal)步骤进行分类两阶段[11,35,5,13]或者没有单阶段[36,27,33,24]。虽然两阶段检测器往往更灵活、更准确但单阶段检测器通常因利用预定义的锚点[17]而被认为更简单、更高效。最近单阶段检测器由于其高效性和简单性引起了相当大的关注[21,42,44]。在本文中我们主要遵循单阶段检测器的设计并展示通过优化网络架构可以实现更好的效率和更高的准确性。
多尺度特征表征目标检测中的主要困难之一是有效地表征和处理多尺度特征。早期的检测器通常直接基于从骨干网络提取的金字塔式特征层次进行预测[4,27,36]。作为先驱工作之一特征金字塔网络FPN[23]提出了一条自顶向下的路径来组合多尺度特征。在这个理念的指导下PANet[26]在FPN之上增加了一个额外的自底向上路径聚合网络STDL[43]提出了一个尺度转换模块来利用跨尺度特征M2det[42]提出了一个U形模块来融合多尺度特征而G-FRNet[2]引入了门控单元来控制特征之间的信息流。最近NAS-FPN[10]利用神经架构搜索来自动设计特征网络拓扑结构。尽管它取得了更好的性能但NAS-FPN在搜索过程中需要数千小时的GPU时间并且得到的特征网络是不规则的因此难以解释。在本文中我们旨在通过更直观和原则性的方式优化多尺度特征融合。
为了获得更高的准确性通常会通过采用更大的骨干网络例如从移动尺寸模型[38,16]和ResNet[14]到ResNeXt[41]和AmoebaNet[32]或增加输入图像尺寸例如从512x512[24]到1536x1536[45]来扩展基线检测器。一些最近的工作[10,45]表明增加通道大小和重复特征网络也可以带来更高的准确性。这些缩放方法主要集中在单一或有限的缩放维度上。最近的研究[39]证明了通过联合扩展网络的宽度、深度和分辨率在图像分类方面取得了显著的模型效率。我们提出的用于目标检测的复合缩放方法主要受到[39]的启发。 图2特征网络设计——(a) FPN[23]引入了一个自3级到7级P3-P7的自顶向下路径用于融合多尺度特征(b) PANet[26]在FPN之上添加了一个额外的自底向上路径© NAS-FPN[10]使用神经网络架构搜索来找到不规则的特征网络拓扑结构然后重复应用相同的块(d) 是我们的BiFPN具有更好的准确性和效率的权衡。
3.BIFPN
在本节中我们首先对多尺度特征融合问题进行了表述然后介绍了我们提出的 BiFPN 的主要思想高效的双向跨尺度连接和加权特征融合。
3.1.Problem Formulation
多尺度特征融合旨在聚合不同分辨率的特征。形式上给定多尺度特征列表 Pin (Pinl1, Pinl2, …)其中 Pinlirepresent表示层级 li 的特征我们的目标是找到一个转换函数 f能够有效地聚合不同的特征并输出一个新特征列表Pout f(Pin)。作为一个具体的例子图2(a)展示了传统的自顶向下的特征金字塔网络FPN[23]。它接受来自级别3至7的输入特征 Pin(Pin3,…Pin7)其中 Pinirepresent 表示分辨率为输入图像的1/2i的特征级别。例如如果输入分辨率为640x640则 Pin3表示特征级别3640/2380的特征分辨率为80x80而 Pin7表示分辨率为5x5的特征级别7。传统的FPN以自顶向下的方式聚合多尺度特征 其中Resize通常是一个用于上采样或下采样以匹配分辨率的操作而Conv通常是一个用于特征处理的卷积操作。
3.2. 跨尺度连接
传统的自顶向下FPN受单向信息流的固有限制。为了解决这个问题PANet[26]在图2(b)中增加了额外的自底向上路径聚合网络。跨尺度连接在[20,18,42]中进一步研究。最近NAS-FPN[10]利用神经架构搜索来搜索更好的跨尺度特征网络拓扑但在搜索过程中需要数千个GPU小时并且所找到的网络是不规则的难以解释或修改如图2©所示。通过研究这三个网络的性能和效率见表5我们观察到PANet在准确性上优于FPN和NAS-FPN但代价是更多的参数和计算量。为了提高模型的效率本文提出了几种跨尺度连接的优化方法首先我们删除那些只有一个输入边的节点。我们的直觉很简单如果一个节点只有一个输入边并且没有特征融合则它对旨在融合不同特征的特征网络的贡献较小。这导致了一个简化的双向网络其次如果原始输入和输出节点位于同一级别我们在它们之间添加额外的边以便在不增加太多成本的情况下融合更多特征第三不同于只有一个自顶向下和一个自底向上路径的PANet[26]我们将每个双向自顶向下和自底向上路径视为一个特征网络层并重复相同的层多次以实现更多高级特征的融合。第4.2节将讨论如何使用复合缩放方法确定不同资源约束下的层数。通过这些优化我们将新的特征网络命名为双向特征金字塔网络BiFPN如图2和图3所示。
3.3. 加权特征融合
在融合具有不同分辨率的特征时一种常见的方法是首先将它们调整为相同的分辨率然后将它们相加。金字塔注意力网络[22]引入了全局自注意力上采样以恢复像素定位这在[10]中进一步研究。所有先前的方法都同等对待所有输入特征没有区别对待。然而我们观察到由于不同的输入特征具有不同的分辨率它们通常不会对输出特征产生相同的贡献。**为了解决这个问题我们建议为每个输入添加额外的权重并让网络学习每个输入特征的重要性。**基于这个想法我们考虑了三种加权融合方法 无界融合(O \sum_{i} w_i \cdot I_i)其中(w_i)是可学习的权重可以是标量每个特征向量每个通道或多维张量每个像素。我们发现标量权重可以在最小的计算成本下达到与其他方法相当的准确性。然而由于标量权重是无界的可能会导致训练不稳定。因此我们采用权重归一化来限制每个权重的值范围。 **基于softmax的融合**一个直观的想法是对每个权重应用 softmax 函数使得所有权重归一化为概率取值范围从 0 到 1表示每个输入的重要性。然而正如我们在第 6.3 节的割除研究中所示额外的 softmax 导致 GPU 硬件显著减速。为了最小化额外的延迟成本我们进一步提出了一种快速融合方法。 快速归一化融合 wi ≥ 0是通过在每个wi后应用Relu来确保的而0.0001是一个小值用于避免数值不稳定。类似地每个归一化权重的值也介于0和1之间但由于这里没有softmax操作所以更为高效。我们的割除研究表明这种快速融合方法具有与基于softmax的融合非常相似的学习行为和准确性但在GPU上运行速度更快最多可提高30%见表6。
我们最终的BiFPN结合了双向跨尺度连接和快速归一化融合。作为具体示例我们描述了图2(d)中BiFPN在第6级处融合的两个特征 其中Ptd6表示自顶向下路径上第6级的中间特征而Pout6表示自底向上路径上第6级的输出特征。所有其他特征的构建方式类似。值得注意的是为了进一步提高效率我们在特征融合中使用深度可分离卷积[7,37]并在每个卷积后添加批归一化和激活。
4.EfficientDet
基于我们的BiFPN我们开发了一个名为EfficientDet的新型检测模型系列。在本节中我们将讨论EfficientDet的网络架构以及一种新的复合缩放方法。
4.1 EfficientDet 架构 图 3EfficientDet 架构 - 它采用 EfficientNet[39] 作为主干网络
BiFPN 作为特征网络并使用共享的类别/框预测网络。根据不同的资源约束BiFPN 层和类别/框网络层都会根据表 1 中所示进行多次重复。图 3 显示了EfficientDet的总体架构它主要遵循单阶段检测器范例[27,33,23,24]。我们采用在ImageNet上预训练过的 EfficientNet 作为主干网络。我们提出的 BiFPN 充当特征网络它从主干网络中获取 3 到 7 级的特征 {P3, P4, P5, P6, P7}并反复应用自顶向下和自底向上的双向特征融合。这些融合后的特征输入到类别网络和框网络分别产生目标类别和边界框的预测。与[24]类似类别和框网络的权重在所有特征级别上是共享的。、
4.2 复合缩放
针对优化精度和效率我们希望开发一系列模型能够满足各种资源约束的需求。关键挑战是如何扩展基准 EfficientDet 模型。以往的研究主要通过使用更大的主干网络如 ResNeXt[41] 或 AmoebaNet[32]、使用更大的输入图像或堆叠更多 FPN 层来扩展基准检测器。这些方法通常不够有效因为它们只关注单个或有限的扩展维度。最近的研究[39]显示了通过共同扩展网络宽度、深度和输入分辨率的所有维度在图像分类中取得了显著的性能。受到这些工作的启发我们提出了一种新的对象检测的复合缩放方法它使用一个简单的复合系数 φ来共同扩展主干网络、BiFPN、类别/框网络和分辨率的所有维度。与[39]不同对象检测器具有比图像分类模型更多的缩放维度因此针对所有维度进行网格搜索成本过高。因此我们采用一种基于启发式的缩放方法但仍遵循共同扩展所有维度的主要思路。
总结
1. BiFPN 的主要思想
双向跨尺度连接 加权特征融合
2. 双向跨尺度连接
2.1 FPN单向连接 传统的自顶向下FPN受单向信息流的固有限制。
2.2 PANet双向连接
为了解决这个问题PANet[26]在图2(b)中增加了额外的自底向上路径聚合网络。 PANet在准确性上优于FPN和NAS-FPN但代价是更多的参数和计算量。作者为了提高模型的效率提出了几种跨尺度连接的优化方法。
3.加权特征融合
所有先前的方法都同等对待所有输入特征没有区别对待。然而我们观察到由于**不同的输入特征具有不同的分辨率它们通常不会对输出特征产生相同的贡献。**为了解决这个问题我们建议为每个输入添加额外的权重并让网络学习每个输入特征的重要性。
