编程网站入门,深圳效果好的免费网站建设,网站开发专业职业规划,创意网页设计题库论文#xff1a;https://arxiv.org/abs/2204.09433 代码#xff1a;https://github.com/PaddlePaddle/PaddleSeg 1、动机 在自然图像抠图领域#xff0c;大多数方法都是基于Trimap来做抠图#xff0c;这种trimap-based的方式在抠图时还需要用户绘制一个trimap作为模型输入https://arxiv.org/abs/2204.09433 代码https://github.com/PaddlePaddle/PaddleSeg 1、动机 在自然图像抠图领域大多数方法都是基于Trimap来做抠图这种trimap-based的方式在抠图时还需要用户绘制一个trimap作为模型输入这大大限制了实际中的应用。虽然也有一些trimap-free方法提出但其抠图质量往往不尽如人意比如前景-背景模糊、过渡区域细节模糊等。 因此本文提出了一种trimap-free的自然图像抠图方法。该方法提出了一个高分辨率细节分支HRDB在保持特征分辨率不变的情况下提取前景的细粒度细节还提出了一个语义分割上下文分支SCB来避免在细节预测中因语义上下文缺失而引起局部歧义。
2、基础概念 抠图与分割的区别 如图1所示抠图生成的前景更为精细而分割生成的前景在边缘处比较粗糙 图1. 分割和抠图的比较: 原始图像在左边分割结果在中间抠图结果在右边 抠图公式表达 对于一幅图像其由前景和背景组成。原图第i个像素的值可以有前景、背景通过一个α系数进行线性组合 α对前景来说是一个不透明度系数。因此图像抠图是高度不适定的它需要求解七个值前景的RGB、背景的RGB、α但只有三个值已知原图的GRB。 trimap-based 为了降低解决图像抠图问题的难度之前有些研究提出了使用trimap来作为辅助输入。trimap将图像分为三个区域前景、过渡区域、背景以此引入先验来辅助模型的学习。这种方式仅适用于PS之类的应用中用户可以方便绘图的场景对于自然场景、视频抠图等场景基于trimap的方法非常不方便。 trimap-free 既然让用户给出trimap不太合适那就有研究提出了一些替代方案给出更容易获取的背景图和原图或者只给出原图但通过第一阶段的模型先预测一个trimap再送入第二阶段进行抠图。这两种方式都有缺点前者对背景图要求和前景一致不能有丝毫误差后者则严重依赖第一阶段的trimap生成质量容易产生误差累计。因此最好的方式是直接只使用原图完全trimap-free的进行Matting。已有研究提出这样的方法但效果都不理想。
3、方法
3.1. 网络结构 正确的语义上下文和清晰的细节是高精度Matting的关键。在trimap-based的方法中trimap提供了足够的语义上下文而模型只需关注过渡区域即可所以trimap-based的方法才能效果不错。那么要是在trimap-free方法中也获得语义上下文是不是就可以像trimap-based方法那样获取精确的结果了呢 因此作者提出了一个网络结构包含了SCB分支来获取语义上下文同是还有一个HRDB分支来获取高分辨率细节。具体网络结构如图2所示 图2. 网络架构概述HRNet 作为编码器低分辨率输出送到 PPM高分辨率输出送到高分辨率细节分支 (HRDB) 语义上下文分支 (SCB) 有五个块第一个、第三个和五个块用于引导 HRDB 学习语义上下文HRDB 保持高分辨率推理以获得高质量的细节预测。 网络结构描述 backbon使用的是HRNet也是上图中的Shared Encoder backbone最后一个stage的输出送入金字塔池化PPM模块以获取更为丰富的语义上下文 SCB分支PPM得到的feature map和Shared Encoder的1/32倍下采样的feature map作为SCB的输入SCB由五个块组成每个块由Conv、BN、ReLU以及一个双线性上采样组成此外SCB的输出也被一个包含三个类别前景、背景、过渡区域的语义分割任务监督如图2中的semantic map和trimap非常相像 HRDB分支Shared Encoder的中间特征通过上采样后concat起来作为HRDB的初始输入然后分别从SCB的1/16 、1/4中间特征引入引导流Guidance Flow以引入语义信息辅助HRDB获取更为精细的细节 Guidance Flow引导流的结构如图3所示其将来自SCB的语义上下文feature map和HRDB的细节feature mapconcat起来送入ConvBNReLU和ConvBNSimoid得到Guidance map然后再与来自HRDB的细节feature map点乘、相加得到HRDB的下一级feature map 图3. 引导流架构架构 Guidance Flow可用公式表示为 3.2. 损失函数 loss包含三部分 第一部分SCB中的语义分割loss是三分类分割任务的交叉熵损失 第二部分HRDB中的细节loss仅在过渡区域起作用由alpha预测loss和梯度loss组成 第三部分最终的alpha matte loss由alpha预测loss、梯度loss、成分loss组成其中成本loss是预测图与原图的绝对差 因此最终的loss是上述三部分loss的加权组合 4、实验结果 5、写在后面 PP-Matting提出了一种trimap-free的方法通过引入SCB和HRDB分支并在两个分支之间增加Guidance Flow来进行信息融合达到了trimap-free方法中的SOTA非常适合应用与自然图像抠图。 之前不管是trimap还是背景图都需要用户使用时提供额外的辅助信息这在实际使用时相当不便。而trimap-free方法只需要用户提供一张图片即可得到最终的抠图效果这大大方便了使用。未来一定是trimap-free的天下~
