福建网站制作公司,网站小图标素材下载,功能最多的wordpress主题,沁阳企业自助建站目标检测
1.基本概念
目标检测#xff08;Object Detection#xff09;的任务是找出图像中所有感兴趣的目标#xff08;物体#xff09;#xff0c;确定它们的类别和位置#xff0c;是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态#xff0c;…目标检测
1.基本概念
目标检测Object Detection的任务是找出图像中所有感兴趣的目标物体确定它们的类别和位置是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态加上成像时光照、遮挡等因素的干扰目标检测一直是计算机视觉领域最具有挑战性的问题。
计算机视觉中关于图像识别有四大类任务
1分类-Classification解决“是什么”的问题即给定一张图片或一段视频判断里面包含什么类别的目标。
2定位-Location解决“在哪里”的问题即定位出这个目标的的位置。
3检测-Detection解决“在哪里是什么”的问题即定位出这个目标的位置并且知道目标物是什么。
4分割-Segmentation分为实例的分割Instance-level和场景分割Scene-level解决“每一个像素属于哪个目标物或场景”的问题。
所以目标检测是一个分类、回归问题的叠加。
2. 目标检测的核心问题
1分类问题即图片或某个区域中的图像属于哪个类别。
2定位问题目标可能出现在图像的任何位置。
3大小问题目标有各种不同的大小。
4形状问题目标可能有各种不同的形状。
3. 目标检测算法分类
基于深度学习的目标检测算法主要分为两类Two stage和One stage。
1Tow Stage 先进行区域生成该区域称之为region proposal简称RP一个有可能包含待检物体的预选框再通过卷积神经网络进行样本分类。
任务流程特征提取 -- 生成RP -- 分类/定位回归。
常见tow stage目标检测算法有R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN和R-FCN等。
2One Stage 不用RP直接在网络中提取特征来预测物体分类和位置。
任务流程特征提取– 分类/定位回归。
常见的one stage目标检测算法有OverFeat、YOLOv1、YOLOv2、YOLOv3、SSD和RetinaNet等。
目标检测原理
目标检测分为两大系列——RCNN系列和YOLO系列RCNN系列是基于区域检测的代表性算法YOLO是基于区域提取的代表性算法另外还有著名的SSD是基于前两个系列的改进。
1. 候选区域产生
很多目标检测技术都会涉及候选框bounding boxes的生成物体候选框获取当前主要使用图像分割与区域生长技术。区域生长(合并)主要由于检测图像中存在的物体具有局部区域相似性(颜色、纹理等)。目标识别与图像分割技术的发展进一步推动有效提取图像中信息。
1滑动窗口 通过滑窗法流程图可以很清晰理解其主要思路首先对输入图像进行不同窗口大小的滑窗进行从左往右、从上到下的滑动。每次滑动时候对当前窗口执行分类器(分类器是事先训练好的)。如果当前窗口得到较高的分类概率则认为检测到了物体。对每个不同窗口大小的滑窗都进行检测后会得到不同窗口检测到的物体标记这些窗口大小会存在重复较高的部分最后采用非极大值抑制(Non-Maximum Suppression, NMS)的方法进行筛选。最终经过NMS筛选后获得检测到的物体。 滑窗法简单易于理解但是不同窗口大小进行图像全局搜索导致效率低下而且设计窗口大小时候还需要考虑物体的长宽比。所以对于实时性要求较高的分类器不推荐使用滑窗法 2选择性搜索 ① 什么是选择性搜索 滑窗法类似穷举进行图像子区域搜索但是一般情况下图像中大部分子区域是没有物体的。学者们自然而然想到只对图像中最有可能包含物体的区域进行搜索以此来提高计算效率。选择搜索selective search简称SS方法是当下最为熟知的图像bounding boxes提取算法由Koen E.A于2011年提出。 选择搜索算法的主要思想图像中物体可能存在的区域应该是有某些相似性或者连续性区域的。因此选择搜索基于上面这一想法采用子区域合并的方法进行提取bounding boxes。首先对输入图像进行分割算法产生许多小的子区域。其次根据这些子区域之间相似性(相似性标准主要有颜色、纹理、大小等等)进行区域合并不断的进行区域迭代合并。每次迭代过程中对这些合并的子区域做bounding boxes(外切矩形)这些子区域外切矩形就是通常所说的候选框。 ② 选择搜索流程 step0生成区域集R step1计算区域集R里每个相邻区域的相似度S{s1, s2,…} step2找出相似度最高的两个区域将其合并为新集添加进R step3从S中移除所有与step2中有关的子集 step4计算新集与所有子集的相似度 step5跳至step2直至S为空 ③ 选择搜索优点 计算效率优于滑窗法 由于采用子区域合并策略所以可以包含各种大小的疑似物体框 合并区域相似的指标多样性提高了检测物体的概率 2. 数据表示
经过标记后的样本数据如下所示 预测输出可以表示为: 其中Pc为输出结果的置信概率bxbybwbh为边框坐标C1C2C3属于某个类别的概率。通过预测结果、实际结果构建损失函数。损失函数包含了分类、回归两部分组成。
3. 效果评估
使用IoUIntersection over Union交并比来判断模型的好坏。所谓交并比是指预测边框、实际边框交集和并集的比率一般约定0.5为一个可以接收的值。
4. 非极大值抑制
预测结果中可能多个预测结果间存在重叠部分需要保留交并比最大的、去掉非最大的预测结果这就是非极大值抑制Non-Maximum Suppression简写作NMS。如下图所示对同一个物体预测结果包含三个概率0.8/0.9/0.95经过非极大值抑制后仅保留概率最大的预测结果。
R-CNN
算法流程
R-CNN(全称Regions with CNN features) 是R-CNN系列的第一代算法其实没有过多的使用“深度学习”思想而是将“深度学习”和传统的“计算机视觉”的知识相结合。比如R-CNN pipeline中的第二步和第四步其实就属于传统的“计算机视觉”技术。使用selective search提取region proposals使用SVM实现分类 1.候选区域的生成
利用Selective Search算法通过图像分割的方法得到一些原始区域然后使用一些合并策略将这些区域合并得到一个层次化的区域结构而这些结构就包含着可能需要的物体。 2.对每个候选区域使用深度网络提取特征
将2000候选区域缩放到227*227pixel接着将候选区域事先训练好的AlexNet CNN网络获取4096维的特征得到2000*4096维矩阵。 3.特征送入每一类的SVM分类器判断类别
将2000*4096维特征与20个SVM组成的权值矩阵4096*20相乘获得2000*20维矩阵表示每个建议框是某个目标类别的得分。分别对上述2000*20维矩阵中每一列即每一类进行非极大值抑制剔除重叠建议框得到该列即该类中得分最高的一些建议框。 在这个图中2000*4096中4096代表每一个候选框经过CNN网络输出的特征向量一共有2000个候选框即为2000*4096中间部分为SVM权值矩阵每一列代表一个类别的权值向量一共有20个即为4096*20。
4.非极大值抑制剔除重叠建议框 5.使用回归器精细修正候选框位置
对NMS处理后剩余的建议框进一步筛选。接着分别用20个回归器对上述20个类别中的剩余的建议框进行回归操作最终得到每个类别的修正后的得分最好的bounding box。
如图黄色框P表示建议框Region Proposal绿色窗G表示实际框Ground Truth红色窗G^代表Region Proposal进行线性回归后的预测窗口可以用最小二乘解决的线性回归问题。 RCNN存在的问题
1测试速度慢
测试一张图片约53sCPU。用Selective Search算法提取候选框用时约2s一张图像内候选框之间存在大量重叠提取特征冗余。
2训练速度慢
过程极其繁琐
3训练所需空间大
对于SVM和bbox回归训练需要从每个图像中的每个目标候选框提取特征并写入磁盘。对于非常深的网络如VGG16从VOCO7训练集上的5
k图像上提取的特征需要数百GB的存储空间。
FastR-CNN
定义
Fast R-CNN是基于R-CNN和SPPnets进行的改进。SPPnets其创新点在于只进行一次图像特征提取而不是每个候选区域计算一次然后根据算法将候选区域特征图映射到整张图片特征图中。 流程
使用selective search生成region proposal大约2000个左右区域候选框(joint training)缩放图片的scale得到图片金字塔FP得到conv5的特征金字塔(joint training)对于每个scale的每个ROI求取映射关系在conv5中剪裁出对应的patch。并用一个单层的SSP layer来统一到一样的尺度对于AlexNet是6*6(joint training) 继续经过两个全连接得到特征这特征又分别共享到两个新的全连接连接上两个优化目标。第一个优化目标是分类使用softmax第二个优化目标是bbox regression使用了一个平滑的L1-loss测试时需要加上NMS处理利用窗口得分分别对每一类物体进行非极大值抑制提出重叠建议框最终得到每个类别中回归修正后的得分最高的窗口 改进
和RCNN相比训练时间从84小时减少为9.5小时测试时间从47秒减少为0.32秒。在VGG16上Fast RCNN训练速度是RCNN的9倍测试速度是RCNN的213倍训练速度是SPP-net的3倍测试速度是SPP-net的3倍 Fast RCNN在PASCAL VOC 2007上准确率相差无几约在66~67%之间 加入RoI Pooling采用一个神经网络对全图提取特征 在网络中加入了多任务函数边框回归实现了端到端的训练 缺点
依旧采用selective search提取region proposal耗时2~3秒特征提取耗时0.32秒 无法满足实时应用没有真正实现端到端训练测试 利用了GPU但是region proposal方法是在CPU上实现的
FasterR-CNN
同样使用VGG16作为网络的backbone与RCNN相比训练时间快9倍测试推理时间快213倍准确率从62%提升至66%。
算法流程 整体流程
四步
Conv Layers。作为一种CNN网络目标检测方法Faster RCNN首先使用一组基础的卷积/激活/池化层提取图像的特征形成一个特征图用于后续的RPN层和全连接层。Region Proposal NetworksRPN。RPN网络用于生成候选区域该层通过softmax判断锚点anchors属于前景还是背景在利用bounding box regression包围边框回归获得精确的候选区域。RoI Pooling。该层收集输入的特征图和候选区域综合这些信息提取候选区特征图proposal feature maps送入后续全连接层判定目标的类别。Classification。利用取候选区特征图计算所属类别并再次使用边框回归算法获得边框最终的精确位置。
Anchors
Anchors锚点指由一组矩阵每个矩阵对应不同的检测尺度大小。如下矩阵 其中每行4个值x 1 , y 1 , x 2 , y 2对应矩形框左上角、右下角相对于中心点的偏移量。9个矩形共有三种形状即1:1, 1:2, 2:1即进行多尺度检测。 例如一张800*600的原始图片经过VGG下采样后(生成特征矩阵)16倍大小大小变为50*38每个点设置9个anchor则总数为
ceil(800 / 16) * ceil(600 / 16) * 9 50 * 38 * 9 17100
Bounding box regression
物体识别完成后通过一种方式对外围框进行调整使得和目标物体更加接近。
损失函数
对一个图像的损失函数是一个分类损失函数与回归损失函数的叠加 i是一个mini-batch中anchor的索引pi 是anchor i 为目标的预测概率ground truth标签pi*就是1如果anchor为负pi* 就是0ti是一个向量表示预测的包围盒的4个参数化坐标Ncls是与正anchor对应的ground truth的坐标向量Nreg为anchor位置的数量大约2400λ10
分类损失函数 位置损失函数 其中 改进 在VOC2007测试集测试mAP达到73.2%目标检测速度可达5帧/秒 提出Region Proposal Network(RPN)取代selective search生成待检测区域时间从2秒缩减到了10毫秒 真正实现了一个完全的End-To-End的CNN目标检测模型 共享RPN与Fast RCNN的特征 缺点 还是无法达到实时检测目标 获取region proposal 再对每个proposal分类计算量还是较大 版权声明本文为CSDN博主「YEGE学AI算法」的原创文章遵循CC 4.0 BY-SA版权协议转载请附上原文出处链接及本声明。 原文链接https://blog.csdn.net/yegeli/article/details/109861867
