厦门市建设工程造价网站,如何做同城信息网站,wordpress网站主修改密码,如何在门户网站做搜索引擎在上一讲《Coursera自动驾驶课程第11讲#xff1a;2D Object Detection》我们学习了深度学习的一个重要应用#xff1a;目标检测。
本讲我们将学习深度学习的另一个重要应用#xff1a;语义分割。这是图片像素级的一个重要应用。
B站视频链接#xff1a;https://www.bili…在上一讲《Coursera自动驾驶课程第11讲2D Object Detection》我们学习了深度学习的一个重要应用目标检测。
本讲我们将学习深度学习的另一个重要应用语义分割。这是图片像素级的一个重要应用。
B站视频链接https://www.bilibili.com/video/BV1PE411D72p。 文章目录1. The Semantic Segmentation Problem1.1 Overview1.2 Mathematical Problem Formulation1.3 Evaluation Metrics2. ConvNets for Semantic Segmentation2.1 Review2.2 Upsampling Layer2.3 Feature Decoder3. Semantic Segmentation for Road Scene Understanding3.1 3D Drivable Surface Estimation3.2 Semantic Lane Estimation1. The Semantic Segmentation Problem
1.1 Overview
让我们从定义语义分割问题开始给定输入图像我们要对每个像素进行分类。类别可以是静态道路元素例如道路人行道立杆交通信号灯和交通标志也可以是动态运动目标例如汽车行人和骑自行车的人。此外我们始终有一个背景类其中包含我们未包含在预设类别中的任何类别。 1.2 Mathematical Problem Formulation
与目标检测一样我们定义一个语义分割函数输入是图像函数参数为θ\thetaθ。 f(x;θ)[Sclass 1,…,Sclass k]f(x ; \theta)\left[S_{\text {class }_{1}}, \ldots, S_{\text {class }_{k}}\right]f(x;θ)[Sclass 1,…,Sclass k]
那么我们如何调整神经网络来进行分割呢 给定图像我们将每个像素作为输入并输出每个像素的分类得分。
在下图中道路像素的道路得分应该很高而其他类别的得分要低得多。 尝试执行语义分割时我们通常会遇到许多与目标检测相同的问题。例如遮挡和截断使得难以准确预测目标边界。缩放也是一个主要问题因为我们需要处理具有精细细节的近距离目标和仅由几个像素捕获的远距离目标。我们还需要能够处理场景中的光照变化。
造成这种困难的原因是图像空间中的边界不明确尤其是对于诸如杆子之类的细小物体诸如道路和人行道之类的外观相似的物体以及距离较远的物体。 1.3 Evaluation Metrics
现在让我们介绍一些评价指标。
第一个指标是真阳性TP正确分类的像素数。第二个指标是假阳性FP即错误分类的像素数。第三个指标是假阴性FN 即应进行分类但最终未分类的像素数。
使用以上三个评价指标我们可以计算出最常用的语义分割评估度量即IOUclassIOU_{class}IOUclass。 计算公式为 IOUclass TPTPFPFNI O U_{\text {class }}\frac{T P}{T PF PF N}IOUclass TPFPFNTP
让我们看一个直观示例。道路分割数据表示为每个像素对应一个类。类似地通过将输出得分最高的类别作为我们的预测类别将预测也以相似的格式进行。
现在我们开始计算由RRR表示的道路类别的IOU得分。第一个要度量的指标是TP3TP3TP3。我们可以通过计算预测中正确分类的道路像素数。第二个指标FP0FP0FP0第三个指标FN2FN2FN2。那么我们最终的IOU得分为 IOURoad 330235I O U_{\text {Road }}\frac{3}{302}\frac{3}{5}IOURoad 302353
同样地辅路的IOU得分为 IOURoad 442046I O U_{\text {Road }}\frac{4}{420}\frac{4}{6}IOURoad 420464 2. ConvNets for Semantic Segmentation
2.1 Review
在本小节我们将学习如何使用卷积神经网络执行语义分割任务。 使用置信度进行语义分割比目标检测要容易一些。 与用于目标检测的卷积网络不同对于语义分割训练和推理阶段实际上是相同的。 但是也有一些需要我们注意的。
让我们先快速回顾一下语义分割问题。 语义分割输入为摄像机图像并为该图像中的每个像素进行类别判断。 我们将此问题建模为函数逼近问题。和目标检测一样 我们可以使用哪种卷积网络来执行此函数逼近呢
一种想法是使用与目标检测相同的网络模型。 也就是说特征提取器后面是输出层。 我们在这里不需要使用锚盒因为我们没有尝试定位目标。 与用于目标检测的特征提取器一样我们可以使用VGG网络。 让我们看看通过此特征提取器时输入图像的大小会如何变化 与目标检测一样在每个池化层之后图像大小将减小一半。 另一方面由于卷积层特征深度将增加。 最终特征提取器的输出特征图将被下采样16倍。 我们可以根据需要添加任意数量的卷积池块但这将进一步缩小我们的特征图。 但是我们希望我们的输出对图像中的每个像素都有一个分类。
那么如果给定的下采样特征映射比原始输入小16倍我们如何实现上述目标 2.2 Upsampling Layer
一个简单的解决方案如下
首先可以将16倍下采样的输出特征图通过softmax层来计算输出。然后通过获取softmax层获得的最高类别得分来确定子采样输出中每个像素的类别。最后一步是上采样将下采样后的输出恢复为原始图像大小。 现在让我们看一下上采样如何提高图像分辨率。 我们想在2×22\times22×2的图像上使用近邻上采样。 图像块的像素颜色代表每个像素的不同值。 我们进行上采样以使其原始大小增加一倍。 上采样后的填充图像颜色为近邻图像颜色。上采样引起的问题是上采样的输出图像具有非常粗糙的边界。因此上采样乘数SSS为2。最终得到的输出维度大小为 Wout S×Win Hout S×Hin Dout Din W_{\text {out }}S \times W_{\text {in }} \\H_{\text {out }}S \times H_{\text {in }} \\D_{\text {out }}D_{\text {in }}Wout S×Win Hout S×Hin Dout Din 回顾一下语义分割中最具挑战性的问题之一是在目标周围很难获得平滑的边界因为图像空间中的边界通常是模棱两可的尤其是对于诸如水池之类的细小物体诸如道路和人行道之类的外观相似的物体以及距离较远的物体而言。
原始的上采样还会引发另外一个问题。 宽度或高度小于16像素大小的目标通常会在其上采样图像中完全消失。那么我们如何解决呢 2.3 Feature Decoder
为了解决以上问题研究人员为此提出了特征解码器。 特征解码器可以被认为是特征提取器的镜像。当我们通过特征解码器时通常会提供所需的平滑边界。 现在让我们分析一下特征图在通过特征解码器时尺寸如何变化。 提醒一下输入特征图以512的深度下采样16倍。类似于特征提取器每个上采样卷积块称为反卷积。 当然当前的研究人员之间就该术语是否准确存在争议。 但是我们将在这里使用它来指代卷积池的逆操作。 当我们经过第一个反卷积块时我们的输入特征图被上采样到输入分辨率的2倍。 当我们继续进行解码器的其余部分时最终会得到分辨率与输入图像相似大小的特征图。为了降低计算复杂度我们通常会缩小特征图的深度。但这是一个取决于具体的应用程序。请注意在许多建议的语义分割方法中这种上采样机制是最简单的。 现在我们已经具有与输入图像相似大小的特征图我们需要生成语义分割输出。我们可以通过线性输出层执行语义分割然后再执行softmax函数。该层与我们在目标检测中描述的分类输出层非常相似。实际上该层为每个像素提供了一个kkk维矢量其中第kkk个元素是神经网络对像素属于第kkk类的置信。
根据定义语义分割问题要求神经网络为每个像素提供一个单独的类。 为了学习如何执行此任务将交叉熵分类损失再次用于训练神经网络。 这种损失类似于我们用于目标检测分类中的损失。 函数形式为 Lcls1Ntotal∑iCrossEntropy(si∗,si)L_{c l s}\frac{1}{N_{t o t a l}} \sum_{i} \operatorname{CrossEntropy}\left(s_{i}^{*}, s_{i}\right)LclsNtotal1i∑CrossEntropy(si∗,si)
总结一下我们得出了以下用于语义分割的模型。特征提取器将图像作为输入得到特征图然后解码器获取此特征图并对其进行上采样以获得与原始输入图像相似分辨率的特征图。最终线性层后跟softmax函数为输入图像中的每个像素生成分类向量。 3. Semantic Segmentation for Road Scene Understanding
3.1 3D Drivable Surface Estimation
现在让我们使用语义分割为自动驾驶汽车执行一些有用的任务。我们将要讨论的第一个任务是从3D语义分割输出中可驾驶道路。可驾驶空间定义为车辆前方安全驾驶的区域。在语义分割的上下文中可驾驶表面包括公路人行横道车道标记线停车区域。估计可驾驶道路非常重要因为它是从3D深度传感器构建占用栅格的主要步骤之一。
但是现在让我们描述如何从语义分割输出中执行可驾驶的道路估计。
首先我们使用ConvNet生成图像的语义分割输出。然后将点云投影到图像平面来生成该帧中像素的3D坐标。通过传感器之间的已知外部标定我们可以将激光雷达点投影到图像平面中并将其与相应的像素匹配。然后我们继续选择属于可驾驶路面类别的3D点。最后我们使用3D点的此子集来估计可驾驶道路模型。 现在让我们描述在分割图像数据和激光雷达点的情况下如何拟合可驾驶的曲面模型。 我们首先定义平面模型 axbyzda xb yzdaxbyzd
我们可以得到一个线性方程组以使用该平面模型的参数作为度量来估计参数每个点都被标识为属于可驾驶曲面上的点。 p[a,b,d],argminA(Ap−B)p[a, b, d], \quad \underset{A}{\operatorname{argmin}}(A p-B)p[a,b,d],Aargmin(Ap−B) A[x1y1−1x2y2−1⋮⋮⋮xNyN−1],B[−z1−z2⋮−zN]A\left[\begin{array}{ccc}x_{1} y_{1} -1 \\ x_{2} y_{2} -1 \\ \vdots \vdots \vdots \\ x_{N} y_{N} -1\end{array}\right], \quad B\left[\begin{array}{c}-z_{1} \\ -z_{2} \\ \vdots \\ -z_{N}\end{array}\right]A⎣⎢⎢⎢⎡x1x2⋮xNy1y2⋮yN−1−1⋮−1⎦⎥⎥⎥⎤,B⎣⎢⎢⎢⎡−z1−z2⋮−zN⎦⎥⎥⎥⎤
现在向量ppp为模型参数并且测量值为矩阵AAA和BBB。我们可以使用最小二乘法找到该线性方程组的解。 最终的结果为 p(ATA)−1ATBp\left(A^{T} A\right)^{-1} A^{T} Bp(ATA)−1ATB
该模型具有三个参数因此至少需要三个非共线点才能求解。这里我们我们使用RANSAC算法来拟合可驾驶曲面模型。
首先我们随机选择适合模型的最小数据点。在这种情况下我们随机选择3D中的三个点。其次我们使用这三个点来计算模型参数abdabdabd并使用最小二乘法求解平面参数。然后我们继续确定满足这些模型参数的3D点的数量。通常对于可驾驶的曲面估计大多数异常值是位于边界处的错误分割输出的结果。如果异常点数比较少则终止并返回计算的平面参数。否则我们将随机采样三个新点并重复该过程。如果道路实际上是平坦的则使用平面模型非常有效这在许多驾驶场景中都是有效的假设。对于更复杂的场景例如从平坦的道路进入陡峭的高速公路入口则需要更复杂的模型。 3.2 Semantic Lane Estimation
尽管我们估计了可驾驶的路面但我们仍未确定允许汽车在该库面上行驶的位置。通常车辆应行驶在车道内这取决于车道标记或道路边界。车道线估计是估计自动驾驶汽车在给定的可行驶路面下可以行驶的位置的任务。文献中存在许多方法可以完成此任务。例如某些方法直接从ConvNets估计车道线标记以确定汽车可以行驶到哪里。但是对于更高级别的决策无人驾驶汽车也应了解车道边界处的情况。
我们将估计车道及其边界处发生的事情称为语义车道估计。注意如果我们使用语义分割的输出来估计车道我们将轻松获得边界分类。让我们通过一个简单的方法来解决这个问题以弄清车道估计任务。
给定语义分割模型的输出我们首先提取属于作为车道分隔符的类的像素的掩码。例如此类可以包括路缘石车道标记或栏杆。然后我们将边缘检测器应用于掩码。在这里我们使用著名的边缘检测器canny边缘检测器。输出是分类为边缘的像素将用于估计车道边界。最后一步是确定要使用哪种模型来估算车道。为了检测输出边缘图中的线我们需要对齐的检测器。霍夫变换检测算法被广泛使用并且能够检测边缘图中的多条线。可以根据当前情况应用进一步的优化。例如我们知道如果摄像机朝向与运动方向一致则车道不应为水平线。此外我们可以删除任何不属于可驾驶曲面的线以获得最终的车道边界元集。
