网站流量 钱,程序员接外包网站,建设开发网站,wordpress 繁体下载Challenge#xff1a;
之前网络架构的设计假设数据流是一致的#xff0c;即出现在一个模态中的对象也出现在另一个模态中。然而#xff0c;在恶劣的天气条件下#xff0c;如雾、雨、雪或极端照明条件#xff0c;多模态传感器配置中的信息可能不对称。不同传感器在特征提取…Challenge
之前网络架构的设计假设数据流是一致的即出现在一个模态中的对象也出现在另一个模态中。然而在恶劣的天气条件下如雾、雨、雪或极端照明条件多模态传感器配置中的信息可能不对称。不同传感器在特征提取阶段单独处理在存在不对称测量失真的情况下融合性能比单传感器差。
Contribution
1.第一个恶劣天气下的大型多模态驾驶数据集激光雷达、相机、雷达、门控近红外传感器和FIR传感器的100k标签 2.提出了由测量熵驱动的自适应特征融合而非proposals级别的融合无需为这些场景提供大型带注释的训练数据集
Method
STF数据集详见恶劣数据集总结 自适应深度融合允许在非对称的传感器信息的情况下进行多模态融合。 偏离了最近的BEV投影方案或原始点云输入因为BeV投影或点云输入不允许深度早期融合因为他们在早期层中的特征表示本质上与相机特征不同。 使用修改后的VGG网络conv4-10作为RPN网络输入 为每个特征交换块提供传感器熵根据可用信息单独缩放每个传感器的连接特征。熵低的区域可以衰减而熵丰富的区域可以在特征提取中被放大。这样做可以自适应地融合特征提取堆栈本身中的特征
Entropy-steered Fusion 将投影分为16x16的patch计算每个patch的local measurement entropy理解为图像熵pmni理解为第(m,n)个patch灰度为i的概率。pmn理解为第(m,n)个patch的信息熵所有patch的信息熵和即为该投影的信息熵。 不同模态数据熵在不同情况下的变化 RGB相机和LiDAR受到后向散射和衰减的影响雾能见度降低数据熵显著降低。 门控和Radar则没有明显变化。光照情况下随着亮度降低RGB和门控数据信息熵明显减少LiDAR和Radar则变化较少。
Experiments
由于训练数据获取的天气偏差只使用所提出数据集的晴朗天气部分进行训练雾化数据增强使用多模态天气数据集作为测试集来评估检测性能
