厦门哪些做鲜花的网站,dz论坛seo设置,济南市住房和城乡建设局官网,户外广告牌报价明细表主要内容基于RGB-D数据的语义建图#xff08;SLAM帮助语义#xff09;。具体过程如下首先利用SSD执行单帧RGB图片#xff08;2D#xff09;物体检测。接着基于检测结果和深度信息#xff0c;利用3D分割算法进一步分割3D点云。最终利用ORB-SLAM2的相机位姿信息将每帧的3D点…主要内容基于RGB-D数据的语义建图SLAM帮助语义。具体过程如下首先利用SSD执行单帧RGB图片2D物体检测。接着基于检测结果和深度信息利用3D分割算法进一步分割3D点云。最终利用ORB-SLAM2的相机位姿信息将每帧的3D点云分割结果合并到地图中建立语义点云地图。特色非物体只维护点云物体维护点云和类别标号。点云分别在每个观测帧中维护。好处是闭环后点云也可以跟着观测帧的位姿变化。语义更新简单累加取最大值。未来工作语义帮助SLAM。利用语义信息提高SLAM的精度鲁棒性等。N. Sunderhauf, T. T. Pham, Y. Latif, M. Milford, I. Reid. Meaningful Maps With Object-Oriented Semantic Mapping. IEEE/RSJ International Conference on Intelligent Robots and Systems, 5079-5085, 2017.摘要对于智能机器人与环境以有意义的方式交互它们必须同时理解周围场景的几何和语义性质。至今主要研究已经分别解决了这些建图挑战专注于几何或者语义建图。Sunderhauf等人解决了同时建立包含语义的物体级别的实体和基于点或网格的几何表示。作者同时建立了已知物体类别的之前未见过实体的几何点云模型同时创建以这些物体模型为中心实体的地图。作者使用了稀疏基于特征的RGB-D SLAM基于图片的深度学习目标检测和3D无监督分割。1. 介绍对于移动机器人和环境有意义地交互它们必须获得一个同时表达几何和语义信息的世界模型。但是大多数现存在机器人建图和SLAM中的研究专注于建图一些语义类别但是忽略建模分离的物体实例或者需要一个已知的3D物体模型先验。在本文中我们提供了一种创建更多有意义地图的方法不需要之前方法的需求和限制地图不仅表达了东西在世界的哪里还包括了它是什么。我们的方法是及时的由于专注于几何的机器人SLAM和基于深度学习的检测技术现在都足够成熟来被融合到一个面向物体的语义建图系统可以创建丰富标号的地图其具有几十个或者甚至几百个物体类别同时维护几何准确性。我们的语义建图是面向物体的因为单独的物体实例是在我们地图中的关键实体。如图1所示生成的环境地图富含语义信息以分离的物体实例的形式。这些物体同时携带几何和语义信息以类别标号和置信度的形式。和早期工作的一个重要区分如[2]是我们的地图不仅仅包含标号的独立3D点通过投影语义信息从图片到3D结构中。相反物体是分离的实体完全独立于地图的非物体部分。这允许更高级的场景理解例如机器人可以推理所有属于地图中的某个物体的3D点在操作中将会一起移动。图1. 我们证实使用RGB-D数据面向物体的语义建图是可行的从小型的桌面环境左到办公室环境中到整个实验室环境右。图片展示了物体染色的3D地图结构。我们没有仅仅投影语义标号到3D点上而是维护了地图中中心实体的的物体并且不需要先验3D物体模型[1]。为此我们的系统创建并扩展3D物体模型同时连续建图环境。物体检测和分类被执行使用卷积网络同时一个无监督3D分割算法分配3D点的分割为每个物体检测。这些被分割的物体检测然后被融合到一个已知物体或者添加到地图的一个新物体中。ORB-SLAM2提供了一个全局SLAM解决方案使得我们重建一个环境的3D模型同时包含非物体的结构和多种物体的结构。以物体为中心的方法由实例级别语义分割技术支持其组合图片空间中基于有界框的物体检测和无监督3D分割。与我们的实例级别方法不同语义分割方法例如[3][4]经常没有物体实例的标记并且因此在单独的物体需要在地图中随时间被建模和操作的机器人建图设置中不可用。我们的方法创建并扩展3D物体模型当它在建图环境时不需要如[1]中的先验已知3D模型。这在之前的技术中是非常重要的提高因为一个语义类别的单独实例比如椅子可以在单个环境中变化很大并且需要准确的3D模型对于这些变体在实际的机器人应用中是非常受限的。在本文剩余部分我们首先讨论相关工作在详细描述我们提出的系统之前。一个定量和定性的评估证实了语义建图系统被提供在第4节。最后我们讨论了结果和获得的启发接着是在组合几何和语义建图领域的未来研究方向的讨论。2. 相关工作SLAM问题的几何方面已经被很好地理解并且达到了成熟的程度其中城市级别地图可以被实时和准确地建立[5]。但是这种地图的结果是几何实体点面表面等其对于建图和定位任务是有用的但是不能在环境中在展示的实体上安排机器人完成一系列可能的操作。为了与环境进行交互一种语义表示是必要的。语义标号的粒度依赖手头的任务。一个需要推理从A点移动到B点的机器人需要识别场景房间走廊厨房灯同时一个操作物体的机器人需要关于物体的识别和赋能信息可以对这个物体做什么如何抓取它在环境中它的状态如何。A. 语义建图语义建图是一个给建图的实体赋值语义信息的过程物体类别身份行为等。它使用SLAM作为一个工具来推理环境中传感器的运动和位置同时语义信息可以从一个不同的源头被获得。第一批尝试语义建图的方法设计地图重建及重建地图的语义分割[6]-[8]。Pham等人[8]首先使用KinectFusion[9]从RGB-D图片中重建一个稠密3D模型然后分配给每个3D点一个语义标号通过使用一个分层条件随机场CRF模型。Pillai和Leonard[7]使用一个单目SLAM系统来增强视频序列中物体识别的表现。他们展示了物体识别任务的表现被提高通过单目SLAM的时序支持。Herbst等人[6]提出一种无监督的算法用于物体发现通过比较通过多次访问同一场景得到的SLAM重建的3D模型。不像这些方法我们的方法动态地跟踪相机检测和重建物体模型。其他语义建图方法包括在线场景重建和分割[10]-[16]。Mozos等人[10]分割范围传感器构建的地图到功能性的空间房间走廊门口使用一个隐马尔科夫模型。他们展示获得的语义信息可以被用于转化语义地图到一个拓扑地图。Pronobis等人[11][13]提出一个在线系统来构建环境的语义地图同时使用激光和相机。Cadena等人[14]使用不同物体检测器的机会分布式系统的组合得到的运动估计来超过单独系统。Vineet等人[15]提出一个在线的稠密重建方法其解决了语义标号问题通过一个稠密连接的CRF。Kundu等人[16]推导了一个3D空间中的CRF模型联合推理每个栅格的语义类别和占据。我们的工作相反建模物体为分别的实体已经通知机器人它内在的性质例如操作中的刚体运动等其对于逐点标号的地图来说是不可能的。虽然我们能够使用一个后3D分割算法从逐点标号的地图中生成物体实例这种方法对于在线系统来说是不高效的。语义信息也能被加入到地图中通过物体模板匹配。Civera等人[17]匹配使用单目SLAM系统创建的地图点和一个已知的物体数据库其使用基于特征的方法进行识别能够被插入到地图中。这种方法创建了更完整的地图允许尺度分辨率。类似地Castle等人[18]在单目SLAM框架中使用平面已知物体。Salas-Moreno等人[1]创建基于物体的地图其使用RGB-D信息来识别并插入一直物体模型。我们的工作区别于这些方法因为没有物体的先验数据库。我们的方法在线创建物体模型基于一个物体检测器的输出。B. 物体检测和语义分割纯几何对于物体检测任务来说是具有奇异性的受机器学习领域的当前进步丰富的先验能够从数据本身中被学习。具体地我们对物体检测任务感兴趣其能够被用于分离地图中的物体实例。一种用于物体检测的方法是基于建议的物体检测方法其生成 个物体建议一般以边界框的形式。每个建议被分类导致所有类别标号上的 个相互独立的概率分布。该技术首先被R-CNN[19]提出最近被Fast R-CNN[20]和Faster R-CNN[21]YOLO [22]或者SSD[23]进一步发展。与物体检测不同语义分割[4]生成稠密的逐像素的分类。这种方法用于语义建图的劣势在于它们缺少独立物体实体的标号。对于重叠物体的像素标号因此不允许场景中单个物体的识别其可能导致SLAM框架中数据关联的奇异性。最近使用RGB图片朝向实例级别语义分割的工作包括[24]-[27]。虽然已经取得了巨大的进步当前这些方法缺乏准确性和用于我们在线框架的速度。3. 面向物体的语义建图在本节我们刻画了组成我们语义建图系统的主要成分。图2可视化了提出方法的关键步骤同时图3可视化了不同成分之间的信息流。图2. 在我们提出方法中的关键步骤可视化上-左SSD[23]生成由边界框组成的物体建议框类别标号和置信度。上-右我们的无监督3D分割算法在当前的RGB-D帧中对于每个物体创建了一个3D点云分割。下一行我们获得了一个包含语义实体的地图物体携带一个语义标号置信度和几何信息。语义标号被染色在下左图片中。浅蓝色显示器粉色书红色杯子深蓝色键盘。A. SLAM我们的语义建图需要观测一个场景时当前相机位姿的信息。该信息可能来自一个在后端运行的SLAM系统或者来自在一个已知地图上的定位。在本工作中我们使用一个ORB-SLAM2的可用的RGB-D版本[5]来跟踪和建图其同时使用RGB和深度信息用于稀疏跟踪。由深度通道生成的点云被投影到对应的传感器位置来得到一个环境的地图。我们小心地称我们的方法是“语义SLAM”因为这需要两方面的信息流SLAM帮助语义同时语义帮助SLAM。在提出的方法中语义流只是单向的即SLAM帮助语义SLAM的输出相机位姿地图被用于环境的一致语义标号。因此我们的工作属于“语义建图”的类别。但是该系统可以被扩展到组合双向信息流但是现在被留到未来工作中。B. 用于语义建图的物体检测单独的物体在语义建图中是重要的实体。因此一种定位和识别图片中不同物体实例的方法是需要的。即使这被认为是实例级别语义分割的过程[24]-[28]但是这些工作不足够快对于我们的语义建图框架。例如DeepMask[28]一张图片需要1.6s。相反地基于深度学习的物体检测方法已经展示处良好的结果和实时性表现[19]-[23]。我们使用SSD方法[23]对每个关键帧以边界框的形式生成固定数量的物体建议框。SSD对每个建议提供一个类别标号和一个置信度得分 。它已经证实了高度竞争力的结果在现存的计算机视觉基准MS COCO[29]PASCAL VOC和ILSVRC[30]中。我们使用在COCO数据集上训练的网络用于我们的工作其能够识别80类。一个前向传播通过网络的 个变量即需要建议和分类在一个TitanX GPU上耗时86ms。C. 3D 分割基于图片的物体检测方法很难返回适合物体的边界框见图2上左。但是对于物体模型重建来说生成一个准确的物体边界是需要的。为此我们利用深度信息来生成一个准确的物体分割然后将每个物体分割关联其中一个检测的物体标号或者不关联。为了分割深度图片到物体中我们跟随[31]中提出的无监督方法。我们首先过分割深度图片为超体素并且构建一个连接临近超体素的邻接图。物体分割任务然后被构建为将图分割为连接的分量。但是不像[31]它的图边通过分类边为1保留或0切割来启发式地切割我们在每条边上设置一个权重然后发现最优的输出通过使用Kruskal算法[32]。相同物体中的超体素之间的边应该保持地权重否则高权重。令 表示连接超体素 和 之间的边其分别具有法向量 和 它的权重被计算如下 、我们建议读者参考[31]来了解提取3D场景中支持平面的技术细节和[33]用于凸/凹计算。当执行时3D分割一般消耗175ms。D. 数据关联在分割算法将一个3D点云分配给每个物体检测后数据关联步骤确定是否被检测的物体已经在地图中存在或者作为一个新的物体对象被添加到地图中。我们执行这个通过一个两步流程首先对于每个检测一组候选物体路标被选择基于对应点云中心的欧式距离。然后我们执行一个路标和检测中3D点之间的最近邻搜索并计算关联点对的欧式距离。一个K-D树结构帮助我们保持该步骤是高效的。一个检测被关联到一个已存在路标如果至少它的3D点的50%具有小于2cm的距离。数据关联步骤一般消耗30ms对于每个检测路标对。E. 物体模型更新如图3所示在我们地图中的每个物体i分割的具有颜色的3D点云通过数据关联步骤关联到每个物体ii一个ORB-SLAM的因子图中路标被观测到的位姿的变量的索引。iiiSSD物体检测器提供的每一类的置信度。后者是一个长度为 的向量其中 是已知物体的类别集合。无论检测是否关联到一个地图物体 都被更新根据 其中 和 是SSD给出的类别ID和对应的置信度。每个物体的类别标号被确定通过累积得分 和最终的置信度 可以被分配为 其中 是对于那个物体的整体观测次数。图3. 我们语义建图系统的综述。ORB-SLAM2执行每一帧RGB-D帧的相机定位和建图SSD[23]检测每个RGB帧中的物体。我们改进的3D无监督分割方法分配一个3D点云分割到每个检测中。基于类似ICP匹配的数据关联得分决定是否在地图中创建一个新物体或者关联检测到一个现存物体中。在后者的情形中地图物体的3D模型通过新检测的3D结构被扩展。每个物体存储3D点云分割ORB-SLAM中的位姿图指针和每一类的置信度得分当出现新的观测时被在线更新。存储每个物体的点云分割允许我们重建一个物体模型当SLAM系统更新它的轨迹估计时例如在闭环后。为了数据高效性我们存储下采样点云具有5mm的空间分辨率。该稀疏模型也被使用在上面描述的数据关联步骤中。F. 地图生成在我们系统中的地图被隐式地维护通过存储i在每个相机关键帧处观测的3D点云和ii存储分割的3D点云对于每个物体和ORB的位姿图的指针。如果地图或者它的子集显式地被需要例如用于路径规划或抓取点选择我们可以通过根据对应位姿的最优估计投影存储的点云。当以这种方式创建地图时我们维护1cm的分辨率对于非物体和0.5cm的分辨率对于物体。依赖应用需求稀疏点云地图可以被转化为稠密网格通过合适的算法。为了保证数据关联具有最新的信息我们更新物体的点云模型当它被观测到时。
