局域网建立网站教程,散文网站模板,厦门seo外包公司,查看网站有没有做301Some definitions
#xfeff; 与目标检测不同#xff0c;语义分割任务不但要对图片中的物体的位置和类别进行预测#xff0c;还要精确地描绘出不同类物体之间的边界#xff08;注意是不同类物体#xff0c;而不是不同物体。若对同一类的不同物体也进行区分#xff0c;则…Some definitions 与目标检测不同语义分割任务不但要对图片中的物体的位置和类别进行预测还要精确地描绘出不同类物体之间的边界注意是不同类物体而不是不同物体。若对同一类的不同物体也进行区分则为实例分割instance segmentation。语义分割只考虑类别。。因此对图像的语义分割可以看成是对图像中的每个像素点的逐点分类。
图像语义分割相对于整图分类或者目标检测的一个重要的困难点在于该任务一方面要求高层语义特征正确分类又要求轮廓尽可能贴合真实的边界像素级别要对齐。这两个要求实际上是相反的语义层级高意味着整体、coarse也就是不关注具体的像素细节而关注整体的形态。而像素级别的轮廓则要求特征尽可能的fine-grained即少关注高层语义多关注边缘、细节这类low-level的特征。语义分割的优化基本就是以解决此问题为最终目标对模型进行改进。
Evaluations of semantic segmentation task
pixel accuracy: 分类正确的像素点占总体的比例。相当于普通样本分类问题中的acc。mean accuracy: 每个类别的分类的acc的平均值。类似目标检测中的mAP。mean IU: 平均IoU即每个类别的IoU的平均值。frequency weighted IU: 对mean IU进行加权权重为该类别的比例。BFBoundary F1-score: 对所有的ground-truth和prediction的轮廓contour点进行比较计算准确率和召回率得到F1-score。注意由于轮廓不会完全精准因此这里的准确指的是在一定容忍范围内的相等distance error tolerance即prediction的轮廓上点与gt上点的距离小于某个阈值。Reference : [1] Csurka, G., D. Larlus, and F. Perronnin. What is a good evaluation measure for semantic segmentation? Proceedings of the British Machine Vision Conference, 2013, pp. 32.1-32.11.
FCN
reference: Fully Convolutional Networks for Semantic Segmentation
Jonathan Long_ Evan Shelhamer_ Trevor Darrell
UC Berkeley
FCN是第一个用分类CNN处理图像语义分割的模型。实际上如果不考虑分类CNN的全连接层 仅考虑conv和pool的话最终生成的二维图形其实就是对应的每个位置区域的类别的heatmap只不过在整图分类的任务中这个heatmap中的信息被整合在一起了。关于CNN全连接层之前的feature map可以表示对应区域的预测结果这一结论早在整图分类的某经典模型中就已经提出了FCN处理语义分割就是沿用了这一思路。
FCN的基本网络结构如下 可以看出FCN首先按照整图分类的方式对原始图像进行卷积下采样直到某个较高的层次小尺寸feature map此时网络已经提取了各个位置的高层语义信息。然后将最后这个含有语义信息的feature map上采样到原图的大小然后加上一个1x1的conv层conv层共有21个filter即输出的channel数目为21分别预测该像素属于21个类别的概率20个object类别1个背景。并与原图的GT 分割轮廓标签对齐进行训练优化。
对于FCN来说由于多次池化后feature map的尺寸非常小虽然包含了较多的语义信息但是并不精确无法做到像素级别的要求因此考虑将前面的语义较低但是细节较丰富的feature map与最后一层进行结合并基于此结果进行升采样和预测。如图所示 根据包含的最细fine-grainedgrid的feature map的下采样/池化倍数可以理解为conv的stride的大小获得的三种不同模型分别称为FCN-32s、FCN-16s和FCN-8s。其中s前面的数表示和原图相比分辨率降了几倍。可以看出8s的相对细节更多实验结果也证实了这一结论。
不同分辨率的feature map的合并方式如下以FCN-8s为例首先对conv7的结果进行4x上采样然后对pool4结果进行2x上采样此时这三个包括pool3的结果feature map已经大小相同了。然后将三者进行求和。
除了与前面的feature map合并以外作者还提到有另一种可以获得finer detailed prediction的方法即shift-and-stitch。
U-net
reference: U-Net: Convolutional Networks for Biomedical Image Segmentation Olaf Ronneberger, Philipp Fischer, and Thomas Brox Computer Science Department and BIOSS Centre for Biological Signalling Studies, University of Freiburg, Germany U-Net最初是用于医学图像分割的现在仍然再医学影像处理中有应用。其网络的基本结构如下 Ciresan et al.先前的工作利用一个滑动窗对每个像素进行预测输入是一个局部的区域patch然后通过CNN预测出中心点所属的类别该类型方法再高光谱分类任务中也有应用。这样做可以预测位置的类别但是滑动窗切出来的patch数量要远远超过图像本身的数量而且由于patch有很多重叠部分重复计算较多效率比较低。另外还有一个问题在于patch的大小对context的使用和定位的准确性这两者之间具有一个trade-off的过程patch越大能利用的信息就越多但是max pooling也更多导致分类的结果不一定就是中心点的类别有可能会受到其它点的影响因此定位会不准确。而如果要得到一个准确的定位那么势必要减少外围的干扰即减小patch的尺寸但这样又会导致语义信息不全面。
因此U-net复用了FCN的基本思路但是再后面的上采样阶段上做了改进。首先增加了上采样阶段网络后半段的feature map数量并且通过跳线将原始的像素级的底层特征合并到后面的预测阶段从而增加定位的准确性。整个网络为U型前后基本对称。相同层级的下采样和上采样上的feature map都通过跳线进行合并。
除此以外由于U-net处理的是尺寸较大的医学图像因此也需要切分成小一些的区域分别进行训练为了处理边界问题对于大图内部的小区域可以切的大一些然后输出只保留内部的部分相当于用周围真实的图像内容进行镶边对边界的区域镜像外推插值extrapolation从而使得最终的输出在valid卷积的情况下输出刚好等于设定的大小。
U-net的loss函数就是类别的交叉熵 但是对于细胞分割不同的instance之间的交界问题比较明显因此还加入了一个权重变量 其中wc是用来平衡不同类别的权重mapw0是预设的参数d1和d2分别表示到距离最近和第二近的细胞边界的距离。也就是说对于距离边界越近的pixel惩罚越大反之越远的惩罚越小以此在训练中关注border pixels。
另外考虑到样本量小的情况U-net的作者对已有的图像进行了大量的数据增广比如旋转、平移模拟人体组织中的形变。增加数据量并且让网络学习到这些形变下的不变性。最终U-net在很小的标注样本集上30张图像512*512进行训练花了10个GPU hourTitan 6GB比较高效地获得了很好的效果。
SegNet
reference: SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, Senior Member, IEEE, SegNet设计的初衷是为了处理街景理解任务road scene understanding它的最主要的特点在于它的非线性上采样non-linear upsampling。SegNet的encoder部分采用了VGG16的结构然后将全连接去除加上上采样的decoder网络实现端到端的训练。SegNet文章对它的decoder与FCN的decoder进行的分析。
SegNet的基本结构如下所示 首先SegNet也是一个encoder-decoder架构encoder阶段就是常规的convBNReLU然后接上max pooling进行下采样。但是在SegNet中max pooling阶段取出每个max的所在的位置index然后将其储存起来并传到decoder中对应的上采样步骤然后在通过多次convBNReLU对上采样的结果进行处理并输出给下一层。这种架构的思路来源于无监督的图像分类pretrain模型以及神经网络可视化也用到了类似的模型。与pretrain模型最终只保留encoder有所不同SegNet是端到端的网络encoder和decoder都用来训练和预测。 上图表示的即SegNet的max pooling indeces的上采样方法。不同于直接进行插值或者deconv得到更大尺寸的feature mapSegNet存储的是每一级max pooling时那些被转移到下一级的最大值的坐标点的位置index。因此通过这种方式上采样后的直接输出是一个稀疏矩阵只在那些产生局部max的点处有值。然后将这个稀疏矩阵用具有可学习的参数的decoder filters进行卷积滤波得到输出结果。
实际上为了保持高分辨率的细节最好的方法自然是将所有的encoder的feature map都存起来右图的FCN即如此先将encoder的feature map进行通道压缩得到和deconv后的feature map同样大小的tensor然后直接逐点相加。但是这只是在预测时间以及存储空间无限制的情况下的方案。SegNet仅仅保存max pooling的indices那么以2x2的pooling为例每个2x2中的位置只需要2个bit就能存储。大大减小了资源消耗。
在SegNet的文章中作者发现各种分割网络的encoder都区别不大主要的差异在decoder部分因此文章对比了多种decoder的方法结果如下 通过上述比较可以得出一些结论首先双线性插值效果最差说明需要学习decoder中的deconv卷积。另外在同等效果的情况下SegNet相比于FCN具有效率上的优势即存储空间小。SegNet的参数量和直接bilinear插值的参数量是基本一样的因为2bit的位置记录所占的空间相对可以忽略不计。另外通过BF metric的结果可以看出加入encoder的feature map有助于对边界的刻画。总的来说效果最好的方法就是讲整个encoder feature map直接用上但是这也是效率上最差的解决方案。
SegNet的训练阶段细节如下损失函数是交叉熵下降方式为带有动量的SGD参数初始化用的是He方法每个epoch对所有样本进行shuffle然后取mini-batch逐批次训练。除此之外考虑到不同类别的频率不同对样本进行了平衡用的方法为 median frequency balancing中位数频率平衡基本思路是对不同类别施加不同的权重权重为 频率中位数/该类别频率 median of class frequency / class frequency。这样一来类别越少的权重越大避免长尾类别对训练的贡献被高频类别压制。
