淄博网站设计制作,wordpress 页脚广告,企业做网站做什么科目,网页百度网盘文 | 黄浴源 | 知乎之前已经介绍过三篇自监督学习的综述#xff1a;《怎样缓解灾难性遗忘#xff1f;持续学习最新综述三篇#xff01;》。这是最近2020年10月arXiv上的又一篇论文A Survey On Contrastive Self-supervised Learning。论文地址#xff1a;https… 文 | 黄浴源 | 知乎之前已经介绍过三篇自监督学习的综述《怎样缓解灾难性遗忘持续学习最新综述三篇》。这是最近2020年10月arXiv上的又一篇论文A Survey On Contrastive Self-supervised Learning。论文地址https://arxiv.org/pdf/2011.00362.pdfArxiv访问慢的小伙伴也可以在【夕小瑶的卖萌屋】订阅号后台回复关键词【1222】下载论文PDF~自监督学习能避免注释大型数据集带来的成本即采用自定义pseudo-labels作为监督并将学习的表示形式用于多个下游任务。具体而言contrastive learning最近已成为在计算机视觉、自然语言处理NLP和其他领域中自监督学习方法的主要部分。本文对contrastive learning方法的自监督方法进行了综述包括contrastive learning中常用的pretext任务以及提出的不同体系结构并对多种下游任务例如图像分类、目标检测和动作识别的不同方法进行性能比较。最后对方法的局限性以及未来方向做了介绍。自监督学习方法如图是示意contrastive learning的直觉基础推进原图像和其增强positive更近而推开原图像和其negative更远。自监督学习方法集成了generative方法和contrastive方法利用未标数据来学习基础表示。pseudo-labels是一个普遍技术帮助在各种pretext任务中学习特征。目前已经看到在image-inpainting, colorizing greyscale images, jigsaw puzzles, super-resolution, video frame prediction, audio-visual correspondence等任务中学习好的表示方式已经很有效。generative方法如GAN已经是不错的结果但训练不容易a不收敛b鉴别器过于成功而无法继续学习。contrastive learning (CL)是discriminative方法如图所示用于自监督学习。pretext任务是自监督类用pseudo-label来学习数据的表示形式。这些pseudo-label根据数据属性自动生成。从pretext任务中学习的模型可用于计算机视觉下游任务例如分类、分割、检测等。此外这些任务可用任何类型数据例如图像、视频、语音、信号等。对于一个contrastive learning (CL)中的pretext任务原始图像充当锚点其增强转换版充当positive样本而其余批处理或训练数据中的图像充当negative样本。大多数常用的pretext任务分为四个主要类别颜色转换、几何转换、基于上下文任务和基于模式交叉任务如下图所示。基于要解决的问题这些pretext任务已在各样方案中使用。颜色/几何变换如下如下基于上下文Jigsaw puzzleSpatiotemporal contrastive video representation learningContrastive Predictive Coding: Representation learningcross modal-based如下view predictionLearning representation from video frame sequencepretext任务确定pretext任务依赖对所解决问题的类型所以需要任务确定。如下图这个fined grain recognition例子不适合用colorization。DTD数据集样本如图所示例子rotation不合适纹理图像。Contrastive learning方法依靠negative样本的数量来生成高质量的表示。如同字典查找任务字典有时是整个训练集而其他时候就是某些子集。一种有趣的分类方法是基于训练过程中针对positive数据点来收集negative样本的方式如图分成四个主要架构a两个编码器的E2E训练一个生成positive样本的表示另一种生成negative样本的表示b使用memory bank存储和检索negative样本的编码结果c使用momentum encoder 作为训练中负样本编码的动态字典查找dclustering机制采用端到端架构从两个编码器获得的表示做交换预测。编码器编码器的角色如图所示一个contrastive learning加编码器构成的自监督学习流水线。在编码器中来自特定层的输出池化获取每个样本的一维特征向量。有方法的不同可以上采样或下采样。为训练编码器使用pretext任务其用contrastive损失进行反向传播BP。contrastive学习的中心思想是使相似的例子靠的更近使相异的例子彼此远离。实现的一种方法是使用相似性度量该度量计算两个样本嵌入之间的紧密度closeness。在contrastive设置中最常用的相似度度量是余弦相似度作为不同contrastive损失函数的基础。Noise Contrastive Estimation (NCE)定义如下如果negative样本很大一个改进版InfoNCE定义为下游任务在计算机视觉中包括classification、detection、localization、segmentation、future prediction等。如图是一个概览pretext任务的知识被迁移到下游任务迁移学习的性能决定了学习的特征具备怎样的泛化能力。衡量pretext任务对下游任务的效果常常采用kernel visualization、feature map visualization和nearest-neighbor based 等方法。如图是Attention maps的可视化包括监督和自监督方法还有top-K retrieval用来分析好坏。Benchmark如下是ImageNet的比较这是在Places数据的表现下面还有目标检测的表现比较视频数据性能如下以及NLP比较讨论和方向缺乏理论基础数据增强和pretext任务的选择困难训练中合适的negative样本采样难数据集biases存在后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
