做任务领黄钻的网站,指数 网站权重,开发网站公司都需要什么岗位人员,oss可以做视频网站吗背景 CVPR 2019 是机器视觉方向最重要的学术会议#xff0c;本届大会共吸引了来自全世界各地共计 5160 篇论文#xff0c;共接收 1294 篇论文#xff0c;投稿数量和接受数量都创下了历史新高#xff0c;其中与自动驾驶相关的论文、项目和展商也是扎堆亮相#xff0c;成为本… 背景 CVPR 2019 是机器视觉方向最重要的学术会议本届大会共吸引了来自全世界各地共计 5160 篇论文共接收 1294 篇论文投稿数量和接受数量都创下了历史新高其中与自动驾驶相关的论文、项目和展商也是扎堆亮相成为本次会议的“新宠”。 障碍物轨迹预测挑战赛Trajectory Prediction Challenge隶属于CVPR 2019 Workshop on Autonomous Driving — Beyond Single Frame Perception自动驾驶研讨会由百度研究院机器人与自动驾驶实验室举办侧重于自动驾驶中的多帧感知预测和自动驾驶规划旨在聚集来自学术界和工业界的研究人员和工程师讨论自动驾驶中的计算机视觉应用。美团无人配送与视觉团队此项比赛获得了第一名。 在该比赛中参赛队伍需要根据每个障碍物过去3秒的运动轨迹预测出它在未来3秒的轨迹。障碍物共有四种类型包括行人、自行车、大型机动车、小型机动车。每种障碍物的轨迹用轨迹上的采样点来表示采样的频率是2赫兹。美团的方法最终以1.3425的成绩取得该比赛的第一名同时我们也在研讨会现场分享了算法和模型的思路。 赛题简介 轨迹预测竞赛数据来源于在北京搜集的包含复杂交通灯和路况的真实道路数据用于竞赛的标注数据是基于摄像头数据和雷达数据人工标注而来其中包含各种车辆、行人、自行车等机动车和非机动车。 训练数据每个道路数据文件包含一分钟的障碍物数据采样频率为每秒2赫兹每行标注数据包含障碍物的ID、类别、位置、大小、朝向信息。 测试数据每个道路数据文件包含3秒的障碍物数据采样频率为每秒2赫兹目标是预测未来3秒的障碍物位置。 评价指标 平均位移误差Average displacement errorADE每个预测位置和每个真值位置之间的平均欧式距离差值。 终点位移误差Final displacement errorFDE终点预测位置和终点真值位置之间的平均欧式距离差值。 由于该数据集包含不同类型的障碍物轨迹数据所以采用根据类别加权求和的指标来进行评价。 现有方法 这次竞赛要解决的预测问题不依赖地图和其他交通信号等信息属于基于非结构化数据预测问题这类问题现在主流的方法主要根据交互性将其区分为两类1. 独立预测2. 依赖预测。 独立预测是只基于障碍物历史运动轨迹给出未来的行驶轨迹依赖预测是会考虑当前帧和历史帧的所有障碍物的交互信息来预测所有障碍物未来的行为。 考虑交互信息的依赖预测是当前学术界研究比较多的一类问题。但是经调研总结我们发现其更多的是在研究单一类别的交互比如在高速公路上都是车辆那预测这些车辆之间的交互再比如在人行道上预测行人的交互轨迹。预测所有类别障碍物的之间的交互的方法很少。 以下是做行人交互预测的两个方法模型 方法1. Social GAN分别对每个障碍车输入进行Encoder然后通过一个统一的Pooling模块提取交互信息再单独进行预测。 方法2. StarNet使用一个星型的LSTM网络使用Hub网络提取所有障碍物的交互信息然后再输出给每个Host网络独立预测每个障碍物的轨迹。 我们的方法 数据分析 拿到赛题之后我们首先对训练数据做了分析由于最终的目标是预测障碍物测位置所以标注数据中的障碍物大小信息不太重要只要根据类别来进行预测即可。 其次分析朝向信息是否要使用经统计发现真值标注的朝向信息非常不准确从下图可以看到大部分的标注方向信息都和轨迹方向有较大差距因此决定不使用朝向信息进行预测。 然后分析数据的完整性在训练过程中每个障碍物需要12帧数据才可以模拟测试过程中使用6帧数据来预测未来6帧的轨迹。但是在真实搜集数据的时候没有办法保证数据的完整性可能前后或中间都可能缺少数据因此我们根据前后帧的位置关系插值生成一些训练数据以填补数据的缺失。 最后对数据做了增强由于我们的方法不考虑障碍物之间的交互仅依赖每个障碍物自身的信息进行训练因此障碍物轨迹进行了旋转、反向、噪声的处理。 模型结构 由于这次轨迹预测的问题是预测所有类别的轨迹所以使用解决单一类别的轨迹预测模型不适用于该问题而且如果把所有的物体放在单一的交互模型中来不能正确提取出不同障碍物之间的交互特征。我们尝试了一些方法也证实了这一点。 因此在竞赛中我们使用了多类别的独立预测方法网络结构如下图该方法针对每个类别构造一个LSTM的Encoder-Decoder模型并且在Encoder和Decoder之间加入了Noise模块Noise模块生成固定维度的高斯噪声将该噪声和Encoder模块输出的LSTM状态量进行连结作为Decoder模块的LSTM初始状态量Noise模块主要作用是负责在多轮训练过程中增加数据的扰动在推理过程中通过给不同的Noise输入可以生成多个不同的轨迹。 最终需要在不同的轨迹输出中选择一个最优的轨迹这里采用了一个简单的规则选择预测的轨迹方向和历史轨迹方向最接近的轨迹作为最终的轨迹输出。 实验结果 我们仅使用了官方提供的数据进行训练按照前述数据增强方法先对数据进行增强然后搭建网络结构进行训练Loss采用Weighted Sum of ADEWSADE采用Adam优化方法最终提交测试的WSADE结果为1.3425。 方法WSADE我们的方法1.3425StarNet基于交互的方法1.8626TrafficPredictApolloScape Baseline方法8.5881总结 在这次竞赛中我们尝试了使用多类别的独立预测方法通过对数据增强和加入高斯噪声以及最终人工设计规则选择最优轨迹的方法在这次障碍物轨迹预测挑战赛Trajectory Prediction Challenge中获得了较好的成绩。但是我们认为基于交互的方法用的好的话应该会比这种独立预测方法还是要好比如可以设计多类别内部交互和类别间的交互。另外也关注到现在有一些基于图神经网络的方法也应用在轨迹预测上今后会在实际的项目中尝试更多类似的方法解决实际的预测问题。 参考文献 Yanliang Zhu, Deheng Qian, Dongchun Ren and Huaxia Xia. StarNet: Pedetrian Trajectory Prediction using Deep Neural Network in Star Topology[C]//Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2019.Gupta A, Johnson J, Fei-Fei L, et al. Social gan: Socially acceptable trajectories with generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018: 2255-2264.Apolloscape. Trajectory dataset for urban traffic. 2018. http://apolloscape.auto/trajectory.html.作者简介 李鑫美团无人配送与视觉部PNC组轨迹预测组算法专家。炎亮美团无人配送与视觉部PNC组轨迹预测组算法工程师。德恒美团无人配送与视觉部PNC组轨迹预测组负责人。冬淳美团无人配送与视觉部PNC组负责人。
