专业网站搭建运营,网站开发什么语言,站长统计幸福宝网站统计,网站建设的主要结构1 自监督学习
自监督学习主要是利用辅助任务#xff08;pretext#xff09;从大规模的无监督数据中挖掘自身的监督信息#xff0c;通过这种构造的监督信息对网络进行训练#xff0c;从而可以学习到对下游任务有价值的表征。#xff08;也就是说自监督学习的监督信息不是人…1 自监督学习
自监督学习主要是利用辅助任务pretext从大规模的无监督数据中挖掘自身的监督信息通过这种构造的监督信息对网络进行训练从而可以学习到对下游任务有价值的表征。也就是说自监督学习的监督信息不是人工标注的而是算法在大规模无监督数据中自动构造监督信息来进行监督学习或训练。因此大多数时候我们称之为无监督预训练方法或无监督学习方法严格上讲他应该叫自监督学习
自监督学习的主要方法 基于上下文由于数据本身的上下文信息我们其实可以构造很多任务比如在NLP领域中最重要
的算法Word2vec。Word2vec主要是利用语句的顺序例如CBOW通过前后的词来预测中间的词而Skip-Gram通过中间的词来预测前后的词。 而在图像中研究人员通过一种名为 Jigsaw拼图的方式来构造辅助任务。我们可以将一张图分成 9 个部分然后通过预测这几个部分的相对位置来产生损失。比如我们输入这张图中的小猫的眼睛和右耳朵期待让模型学习到猫的右耳朵是在脸部的右上方的如果模型能很好的完成这个任务那么我们就可以认为模型学习到的表征是具有语义信息的。 后续的工作人们又拓展了这种拼图的方式设计了更加复杂的或者说更难的任务。首先我们依然将图片分为 9 块我们预先定义好 64 种排序方式。模型输入任意一种被打乱的序列期待能够学习到这种序列的顺序属于哪个类和上个工作相比这个模型需要学习到更多的相对位置信息。这个工作带来的启发就是使用更强的监督信息或者说辅助任务越难最后的性能越好。 除了这种拼图的模式还有一种是抠图。想法其实也很简单粗暴就是我们随机的将图片中的一部分删掉然后利用剩余的部分来预测扣掉的部分只有模型真正读懂了这张图所代表的含义才能有效的进行补全。这个工作表明自监督学习任务不仅仅可以做表征学习还能同时完成一些神奇的任务。 而对于这种抠图的方式其实和 nlp 中的 BERT的 MASK LM 训练方式有异曲同工之妙BERT 在训练时也可以是看做随机扣掉一些词然后来预测扣掉的词从而让模型读懂句子。
BERT/Mask LM 还有一种思路是通过图片的颜色信息比如给模型输入图像的灰度图来预测图片的色彩。只有模型可以理解图片中的语义信息才能得知哪些部分应该上怎样的颜色比如天空是蓝色的草地是绿色的只有模型从海量的数据中学习到了这些语义概念才能得知物体的具体颜色信息。同时这个模型在训练结束后就可以做这种图片上色的任务。 这种基于预测颜色的生成模型带给了人们新的启发其实这种灰度图和 ab 域的信息我们可以当做是一张图片的解耦表达所以只要是解耦的特征我们都可以通过这种方式互相监督的学习表征著名的 Split-Brain Autoencoders 就在做这样一件事情。对于原始数据首先分成两部分然后通过一部分的信息来预测另一部分最后再合成完成的数据。 和传统编码器不同的是这种预测的方式可以促使模型真正读懂数据的语义信息才能够实现所以相当于间接地约单单束编码器不靠 pixel-wise 层面来训练而要同时考虑更多的语义信息。 最后我们要介绍的是根据类似数据增广的方式来寻找自监督上下文。ICLR 2018 [13]的工作是给定一张输入的图片我们对其进行不同角度的旋转模型的目的是预测该图片的旋转角度。这种朴素的想法最后带来的增益竟然是非常巨大的所以数据增强对于自监督学习也是非常有益处的我个人的想法是数据增强不仅带来了更多的数据还增加了预训练模型的鲁棒性。 自监督学习在预训练模型中的成功让研究人员觉得非常兴奋同时也激发了更多的灵感。我们之前介绍的模型都是在专注如何寻找自监督信息而自监督学习一定要脱离下游的具体任务吗答案是否定的越来越多的工作开始思考自监督学习和具体任务紧密结合的方法(Task Related Self-Supervised Learning)。
基于时序
1基于帧的相似性对于视频中每一帧其实存在着特征相似的概念简单来说可以认视频中的相邻特征是相似的而相隔较远的视频帧是不相似的通过构建这种相似和不相似的样本来进行自监督约束。
2基于无监督追踪方法首先在大量的无标签视频中进行无监督追踪获取大量的物体追踪框。那么对于一个物体追踪框在不同帧的特征应该是相似的positive而对于不同物体的追踪框中的特征应该是不相似的negative。
3除了基于特征相似性外视频的先后顺序也是一种自监督信息。 之前介绍的方法大多是基于样本自身的信息比如旋转、色彩、裁剪等。而样本间其实也是具有很多约束关系的这里我们来介绍利用时序约束来进行自监督学习的方法。最能体现时序的数据类型就是视频了video。 第一种思想是基于帧的相似性对于视频中的每一帧其实存在着特征相似的概念简单来说我们可以认为视频中的相邻帧特征是相似的而相隔较远的视频帧是不相似的通过构建这种相似position和不相似negative的样本来进行自监督约束。 还有一种想法是来自 Xiaolong Wang 大佬 ICCV 2015 [18]的基于无监督追踪方法首先在大量的无标签视频中进行无监督追踪获取大量的物体追踪框。那么对于一个物体追踪框在不同帧的特征应该是相似的positive而对于不同物体的追踪框中的特征应该是不相negative。 除了基于特征相似性外视频的先后顺序也是一种自监督信息。比如ECCV 2016, Misra, I. [19] 等人提出基于顺序约束的方法可以从视频中采样出正确的视频序列和不正确的视频序列构造成正负样本对然后进行训练。简而言之就是设计一个模型来判断当前的视频序列是否是正确的顺序。
对话 1基于顺序的约束可以用于对话系统中ACL2019Wu, Jiawei et al. “Self-Supervised Dialogue Learning.” ACL (2019).提出的自监督对话系统就是基于这种思想。这篇文章主要是想解决对话系统中生成的话术连贯性的问题期待机器生成的回复和人类交谈一样是符合之前的说话的风格、习惯等。从大量的历史预料中挖掘出顺序的序列positive和乱序的序列negative通过模型来预测是否符合正确的顺序来进行训练。训练完成后就拥有了一个可以判断连贯性的模型从而可以嵌入到对话系统中最后利用对抗训练的方式生成更加连贯的话术。
2BERT的Next Sentence Prediction也可以看作是基于顺序的约束通过构造大量的上下文样本目的是让模型理解两个句子之间的联系。这一任务的训练语料可以从语料库中抽取句子对包括两个句子A和B来进行生成其中50%的概率B是A的下一个句子50%的概率B是语料中的一个随机句子。该任务预测B是否是A的下一句。
3 基于对比 第三类自监督学习的方法是基于对比约束的它通过学习对两个事物的相似或不相似进行编码来构建表征这类方法的性能目前来说是非常强的。 其实第二部分所介绍的基于时序的方法已经涉及到了这种基于对比的约束通过构建正样本positive和负样本negative然后度量正负样本的距离来实现自监督学习。
核心思想
样本和正负样本之间的距离远远大于样本和负样本之间的距离 这里的x通常也称为[anchor]数据为了优化anchor数据和其正负样本的关系我们可以使用点积的方式构造距离函数然后构造一个softmax分类器以正确分类正样本和负样本。这应该鼓励相似性度量函数点积将较大的值分配给正例将较小的值分配给负例。 通常这个损失也被称为 InfoNCE 后面的所有工作也基本是围绕这个损失进行的。 CPC同样是一个基于对比约束的自监督框架主要是可以应用于能够以有序序列表示的任何形式的数据文本、语音、视频、甚至图象图象可以被视为像素或块的序列。 CPC 主要是利用自回归的想法对相隔多个时间步长的数据点之间共享的信息进行编码来学习表示这个表示 c_t 可以代表融合了过去的信息而正样本就是这段序列 t 时刻后的输入负样本是从其他序列中随机采样出的样本。CPC的主要思想就是基于过去的信息预测的未来数据通过采样的方式进行训练。 数据增广对于自监督学习是有益的不同数据增广方式的结合比单一增广更好。 同时作者公布了非常多的实验经验比如自监督学习需要更大的 batch 和更长的训练时间。 自监督学习的“标注”通常来自于数据本身其常规操作是通过各自的“auxiliary task”来提高学习表征representation的质量从而提高下游任务的质量。
自监督的方法常用的情景或任务为了解决数据集无标签或者标签较少质量低的问题。 自我监督方法可以看作是一种具有监督形式的特殊形式的非监督学习方法这里的监督是由自我监督任务而不是预设先验知识诱发的。与完全不受监督的设置相比自监督学习使用的数据集本身的信息来构造伪标签。在表示学习方面自我监督学习具有取代完全监督学习的巨大潜力。人类学习的本质告诉我们大型注释数据集可能不是必需的我们可以自发地从未标记地数据集中学习。更为现实的设置是使用少量带注释的数据进行自学习。这称为Few-shot Learning。 所有的非监督学习方法例如数据降维(PCA:在减少数据维度的同时最大化的保留原有数据的方差)数据拟合分类(GMM: 最大化高斯混合分布的似然) 本质上都是为了得到一个良好的数据表示并希望其能够生成(恢复)原始输入。这也正是目前很多的自监督学习方法赖以使用的监督信息。基本上所有的encoder-decoder模型都是以数据恢复为训练损失。 2自监督学习应用到自动驾驶方面
自监督学习应用到车载激光雷达点云。
存在问题如何从点云中获得其他交通参与者的运动信息是一个重要课题并且存在如下挑战
交通参与者的类别不一样每个类别都表现出特定的运动行为激光雷达点云的稀疏性导致两次激光雷达扫描的情况不能精确地被对应起来需要在很短的时间内和有限的车载算力下完成计算。
传统做法是通过识别场景中其它交通参与者根据所观测到的历史信息来预测交通场景会如何变化从而实现预测。
存在不足大多数识别模型都是为检测若干已知类别的物体而训练的。在实际情况中经常会遇上从未出现过的物体类因此这肯定不是长久之计。
其他做法通过估计激光雷达点云每个点的3D运动来从点云中估计场景流但这样做对计算的要求太高了自动驾驶车又特别需要满足实时性所以根本无法进行实际应用。
其三基于BEVBird’s Eye View的方式把激光雷达的点云画成一个个小网格每个网格单元被称为体柱点云的运动信息可以通过所有体柱的位移向量来描述该位移向量描述了每个体柱在地面上的移动大小和方向。
这种表征方法成功简化了运动场景反正只需要考虑在水平方向上的运动情况而不用特别考虑垂直方向上的运动。这种方式的所有关键操作都可以通过2D卷积进行计算速度非常快。但是这种方式需要依靠大量带有标注的点云数据但点云数据的标注成本比普通图像更高。一辆自动驾驶汽车每天会产生超过1TB的数据但仅有不到5%的数据被利用若能把其他数据也充分利用起来在没有手工标注的数据上来进行学习效率必将大幅提升。 用于自动驾驶的自监督“点云运动和学习”
https://arxiv.org/pdf/2104.08683.pdf
为了充分利用BEV中运动表征的优点研究团队将点云组织成体柱Pillar并将与每个体柱相关的运动信息称为体柱运动Pillar Motio。假设连续两次扫描之间的体柱或物体的结构形状是不变的。然而这在大多数情况下是不成立的因为激光雷达的稀疏扫描连续的两个点云缺乏精确的点与点的对应。
解决方案是利用从相机图像中提取的光流来提供跨传感器的自监督和正则化。如图2所示这种设计形成了一个统一的学习框架包括激光雷达和配对相机之间的交互
(1) 点云有助于将自车运动Ego-motion导致的图像运动从光流中分解出来
(2) 光流为点云中的体柱运动学习提供了辅助正则化
(3) 反投影Back-projected光流形成的概率运动掩膜Probabilistic Motion Masking提升了点云结构的一致性。
注意与相机相关的模块仅用于训练在推理阶段不会被使用因此在运行时不会对相机相关的模块引入额外的计算。
