泉州建站方案,视频网站中滑动列表怎么做的,地图网站抓取,铁路工程造价信息网论文名称#xff1a;PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling 发表时间#xff1a;2023 年 3 月 4 日 作者及组织#xff1a;上海人工智能实验室、西蒙菲莎大学、香港中文大学 GitHub#xff1a;https://github.com/open-mmlab/mmselfsup/tree/d…论文名称PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling 发表时间2023 年 3 月 4 日 作者及组织上海人工智能实验室、西蒙菲莎大学、香港中文大学 GitHubhttps://github.com/open-mmlab/mmselfsup/tree/dev-1.x/configs/selfsup/pixmim
问题与贡献
在MIMMaksed Image Modeling任务中随着Maked AutoencodersMAE和BEiT的提出已经取得很大进步。但是后续的工作研究要么通过添加新的辅助任务或者额外预训练模型造成了框架的复杂性并且引入了额外的计算成本。 本文从pixel重建的角度对MIM进行了详尽的分析研究了输入图像patchs和重构目标揭示了两个重要但是之前被忽视的难点bottlenecks。基于上述的分析本文提出了一个简单且有效的方法PixMIM主要包含如下两个策略 filtering the high-frequency components from the reconstruction target to de-emphasize the network’s focus on texture-rich details从重构目标中过滤高频分量来弱化网络对纹理丰富细节的关注adopting a conservative data transform strategy to alleviate the problem of missing foreground in MIM training.采用保守的数据转换策略来缓解MIM训练中前景丢失的问题 PixMIM可以简单嵌入到pixel-based MIM方法中其增加的计算成本可以忽略不计。 本文通过对MAE算法进行详尽的分析揭示两个重要问题
重建目标
现阶段大多数MIM方法与MAE一样将原始的像素值作为重建目标这使得网络需要对masked patchs有优秀的重建能力包括复杂的细节纹理。这种重建目标使得网络浪费建模能力来关注短期依赖和高频细节。而本文认为在 MIM 任务中模型应该更关注浅层特征即形状偏置。
输入patchs
MAE中使用Random Resized Crop作为数据增强手段但是当结合RRC和高掩码率技巧时MAE输入的patchs平均只占整体目标的17.1%。语义丰富的前景对于模型学习到好的特征是至关重要的。在训练过程中较低的前景模型收敛会阻碍模型学习形状偏差。
前置概念和理论 MAE and most pixel-based MIM methods enforce the model to reconstruct intricate details of raw images. These complicated details contain textures with repeated patterns and belong to the high-frequency components in the frequency domain, which are usually independent of object shapes or scene structures. vision models with stronger shape biases behave more like human visual perception, demonstrating better robustness and performing better when transferred to downstream tasks than those with stronger texture biases. 现在的MIM模型的重建目标不可避免地会引入texture biases偏离了之前工作地初衷可能损害representation质量。与之对应的是模型应该在重建目标中弱化high-frequency分量。 如下图所示作者为了评估MIM算法中输入patchs中包含目标的百分比提出了以下的重叠面积计算公式。图中A1为原图中目标的区域A2为裁剪后图像中目标的区域A2和A1的比值可以得出占比。 作者发现在MAE算法中当使用RRC数据增强后比值为68.3%RRC结合掩码之后占比只有17.1%说明MAE的输入中缺乏有效的前景信息。如DeiT Ⅲ中提出的前景相对于背景能编码更多语义信息缺乏前景信息会导致在下游任务中优化欠佳。因此需要一个简单的方法来保留更多的前景信息。
模型、理论和方法
针对MAE或者MIM系列算法中存在的两个问题提出了两个解决方案
生成low-frequency重建目标使用更加保守的数据增强方法替代RR 生成Low-frequency重建目标
为了削弱模型学习到texture为主导的high-frequency细节信息提出了一个新的目标生成器decoder生成的目标依旧是RGB像素值但是过滤掉了high-frequency分量。 具体而言生成low-frequency目标分为如下三步
domain conversion from spatial to frequency(空间域到频率域的转换); 对于输入的图像使用2D的离散傅里叶变换将内容从空间域转换到频域公式如下 F D F T ( I i ) ( u , v ) ∑ h 0 H − 1 ∑ w 0 W − 1 I i ( h , w ) e − i 2 π ( u h H v w W ) F_{DFT}(I_i)(u,v)\sum_{h0}^{H-1}\sum_{w0}^{W-1}I_i(h, w)e^{-i2\pi(\frac{uh}{H}\frac{vw}{W})} FDFT(Ii)(u,v)∑h0H−1∑w0W−1Ii(h,w)e−i2π(HuhWvw) low-frequency components extraction(低频成分提取); 为了只获取图像的低频信息使用如下公式对图像的频域。 reconstruction target generation from frequency domain(频域重建目标生成).
更加保守的数据增强方案
为了更好的保留输入前景信息没有修改高掩码方式而是提出了一个更加保守的数据增强方案。 Simple Resized Crop(SRC)最先在AlexNet中被使用具体做法是先讲最短边resize到输入大小然后在两侧应用 4 像素的反射填充最后随机裁剪一个输入大小的区域。 CenterCrop(CC)就是从图像中间裁剪一个固定大小的区域。 最后可以看到SRC的前景占比为22.1%非常接近25%掩码率为75%。
实验与结论
方法应用
将PixMIM应用到MAE、ConvMAE和LSMAE上比较它们之间的结果。在linear probe、object detection和semantic segmentation上取得了极佳的效果。 此外为了更好可视化地查看模型之间的差异对不同epoch下模型的性能进行了绘图可以看到PixMIM的曲线都在原方法之上。
鲁棒性评估
通过在ImageNet的变体ImageNet-CorruptionImageNet-AdversarialImageNet-Rendition和ImageNet-Sketch上的测试结果来评估预训练模型的鲁棒性因为这些数据集相对于ImageNet都引入了domain shifts。
形状偏差分析 消融实验
过滤高频分量
低频带宽 r r r对于结果的影响可以看到当bandwidth为40时PixMIM相对于baseline在linear probe和segmentic上分别提升了1.2%和1.7%。较小的bandwidth会抛弃到图像中比较重要的信息而较大的bandwidth无法有效地移除不重要地texture。
使用SRC
下图比较了不同数据增强方式下模型的表现。在MAE上SRC相对于RRC在linear probe和semantic上都取得较好的提升。然而在DeiTⅢ上用 SRC 替换 RRC 会降低性能因为它会降低裁剪图像的多样性并削弱模型的泛化能力。 在MIMRRC会导致前景的丢失通过后续CCcentercrop的实验可以进一步验证这个结论。 下图展示了PixMIM中两个组件一起之后的效果。
