手机网站做分享到朋友圈,热搜关键词,东莞软件有限公司,专业建站公司前景导读
不用训练lora#xff0c;一张图就能实现风格迁移#xff0c;还支持多图多特征提取#xff0c;同时强大的拓展能力还可接入动态prompt矩阵、controlnet等等#xff0c;这就是IP-Adapter#xff0c;一种全新的“垫图”方式#xff0c;让你的AIGC之旅更加高效轻松。
…导读
不用训练lora一张图就能实现风格迁移还支持多图多特征提取同时强大的拓展能力还可接入动态prompt矩阵、controlnet等等这就是IP-Adapter一种全新的“垫图”方式让你的AIGC之旅更加高效轻松。
都是“垫图”谁能还原你心中的图
“垫图”这个概念大家肯定都不陌生此前当无法准确用prompt描述心中那副图时最简单的办法就是找一张近似的然后img2img流程启动一切搞定。
可img2img简单的同时也有它绕不过去的局限性比如对prompt的还原度不足、生成画面多样性弱特别是当需要加入controlnet来进行多层控制时参考图、模型、controlnet的搭配就需要精心挑选不然出图效果常常让人当场裂开…
但现在我们有了新的“垫图”神器——IP-Adapter在解读它之前先来直观的感受一下它的效果。 效果可以说相当炸那IP-Adapter就是终极答案了么它的泛化性如何兼容性是否足够对prompt支持怎么样当真的要接入现实工作中它还有什么拓展的能力呢让我们一一来看。
IP-Adapter的核心优势只画你关心的事
IP-Adapter和img2img虽然在操作上都是“垫图”但它们的底层实现可以说是毫无关系。
用个不严谨但好理解的例子“IP-Adapter”和“img2img”就是两位画师现在给出prompt要求它俩画一个男人在不提供参考图的情况下它们大概都会画成图1的模样但是当我们加上参考图2的时候两者的区别就显现了。 img2img相当于直接盖在参考图上开始临摹虽然知道要画个男人但会在老虎的基础上去修改始终会很别扭中间不免出现老虎和男人混淆的情况画出一些强行混合不知所谓的图来。因为在这个流程中参考图更为重要一切是在它基础上画出来的结果也更倾向于参考图。 IP-Adapter则不是临摹而是真正的自己去画它始终记得prompt知道自己要画个男人中间更像请来了徐悲鸿这样的艺术大师将怎么把老虎和人的特点融为一体讲解得偏僻入里所以过程中一直在给“男人”加上“老虎”的元素比如金黄的瞳仁、王字型的抬头纹、虎纹的须发等等。此时prompt更为重要因为这才是它的始终目标。 当然这些都是在一定的参数范围内超过了阈值那必然是要走极端的照着参考图去copy了。但即便这样也可以看到img2img只是1:1的复制而IP-Adapter有更多prompt的影子。
把简单的“垫图”拓展得大有前途
在理解IP-Adapter的逻辑之后会发现它带来的改变可不只是“垫图”这里先展示一下它在我们工作中的实例然后再和大家一步步的去拆解它。 以上这些效果实现很简单只需要添加两层controlnet一层用来提供IP-Adapter一层利用canny用来对需要添加的商品进行绘制、固化即可。 如果只是在webui中应用那到这里其实已经ok了。但这次我们要更进一步利用新工具去实现更有创造力的能力。
以下重点想分享的更多是工程搭建的能力和效果具体的方法我们会放到以后详细的讲解
① 一张图就是一个lora大大降低了训练的成本
② 多参考图接入提供更丰富的生成结果
③ 利用对prompt的强注意力提供prompt matrix丰富结果
④ 基于comfyui的工作流部署实现多步骤自动化生成
以往要想实现一个具体的设计风格需要针对性的训练lora背后涉及训练素材的搜集、打标、模型训练、效果检验等多个环节通常要花一两天并且结果还存在很强的不确定性。
但现在通过IP-Adapter这一个步骤在几分钟内就直观的看到结果大大节省了时间敏捷程度简直天壤之别。 当我们拥有这些特征几乎就得到一个“即时lora”而需要付出的成本只是去找几张符合预期的参考图。
同时IP-Adapter还能一次读取多张参考图让生成的结果拥有更丰富的多样性和随机性这是在img2img流程中无法实现的也是两者之间区别最大的地方。 此刻让我们把思路再打开一些因为IP-Adapter对prompt的强注意力prompt中的信息能更直观的反应在结果中。于是我们可以在继承img风格的同时通过替换prompt里面的关键词指向不同的结果形成prompt的组合矩阵更进一步的拓展生成结果的多样性。 更进一步再加入不同的controlnet和批量素材读取来实现对生成结果的可控引导以及利用批量读取能力来提供更加丰富的模板。一套”0成本即时lora controlnet可控生成 prompt matrix多样生成“的自动化流程就搭建完成了。
这个流程我们已经用在项目中至于效果大家的反馈概括为一句话就是——一键三连。 下面这张图就是上述流程部署在实际工作中的样子载体是comfyui它和webui都是基于stable diffusion能力但和webui的网页化界面不同它将SD的能力分解成不同的节点通过节点关联搭建来实现各种功能。所以更加开放、自由、多源并且可以实现流程的自动化极大的提升了实际应用中的效率下一期我们会专门针对它来进行解读。 到这里关于IP-Adapter背后的原理和应用就整理完了它有非常多的优点但也非常需要结合实际的场景来应用还是那个观念没有最好的方法只有适合的方法。
希望大家用的开心有什么想法建议十万吨的欢迎我们下期再见。 这里是枯燥的分割线
有点无聊但也很有得聊
看过它的表现的效果之后再从底层原理看看IP-Adapter到底有什么特别。
我们知道stable diffustion是扩散模型它的核心作用机制就是对噪音的处理prompt可以看做是我们的目标通过不断的去噪过程向着目标越来越靠近最终生成出预期的图片。 IP-Adapter则是将图片单独提出作为一种提示特征相比以往那种只是单纯的把图像特征和文本特征抽取后拼接在一起的方法IP-Adapter通过带有解耦交叉注意力的适配模块将文本特征的Cross-Attention 和图像特征的Cross-Attention区分开来在Unet的模块中新增了一路Cross-Attention模块用于引入图像特征。
相当于将原本SD中img和prompt拼合成一个向量的做法分开来, img和prompt都会单独的组成向量, 然后交给unet层, 这样img中的特征就可以更好的被保留下来从而实现对图像特征更显性的继承和保留。
本质上IP-Adapter就是txt2img的流程流程中prompt还是最关键的只是中间利用IP-Adapter强化了参考图的提示作用。 作为对比img2img是直接将参考图传入unet去替换了原始的随机噪音这样所有的生成结果都是建立在它的基础上于是有了前面人和老虎混杂的现象就比较好理解了。 最后的最后我们通过伪码看一下它俩的底层区别
结构上
img2img使用unet架构包括一个编码器下采样和一个解码器上采样
IP-Adapter包括一个图像编码器和包含解耦交叉注意力机制的适配器
# img2img
class UNet(nn.Module):# ... (U-Net architecture code)# IP-Adapter
class IPAdapter(nn.Module):def __init__(self, image_encoder, text_to_image_model):# ... (initialization code)
流程上
img2img通过编码/解码器需要通过一系列上采样、下采样
IP-Adapter通过图像编码器文本提示和图像特征通过适配模块与预训练的文本到图像模型进行交互
# img2img
encoded unet_encoder(img2img_input)
decoded unet_decoder(encoded)# IP-Adapter
image_features image_encoder(ip_adapter_input[1])
adapted_features adapter_module(ip_adapter_input[0], image_features)
输出上
img2img是输出一个转换后的图像
IP-Adapter是根据文本和图像提示生成的图片
# img2img
output_image img2img_model(img2img_input)# IP-Adapter
generated_image ip_adapter_model(ip_adapter_input)
以上真的结束了。see you soon 作者京东零售 何云深
来源京东云开发者社区 转载请注明来源
