做促销的网站,中国宣布入境最新消息2023,中国建筑招投标平台,网店美工毕业设计论文Image Super-Resolution with Text Prompt Diffusion (Paper reading)
Zheng Chen, Shanghai Jiao Tong University, arXiv23, Code, Paper
1. 前言
受多模态方法和文本提示图像处理进步的启发#xff0c;我们将文本提示引入图像SR#xff0c;以提供退化先验。具体来说我们将文本提示引入图像SR以提供退化先验。具体来说我们首先设计了一个文本图像生成管道通过文本退化表示和退化模型将文本集成到SR数据集中。文本表示采用基于装箱方法的离散化方式来抽象描述退化。这种表示方法还可以保持语言的灵活性。同时我们提出了PromptSR来实现文本提示SR。PromptSR采用了扩散模型和预先训练的语言模型例如T5和CLIP。我们在生成的文本图像数据集上训练模型。
2. 整体思想 快速水一篇文章没什么insight。如上图这篇文章就是SR3prompt或者说完全等于Stable Diffuison。数据集就是下面这么构建的 好像没有别的要说的了。。。。不如看看这两篇文章1AutoDIR: Automatic All-in-One Image Restoration with Latent Diffusion2CONTROLLING VISION-LANGUAGE MODELS FOR MULTI-TASK IMAGE RESTORATION
3. 实验 ·消融实验图4在给出[轻微噪声]这个prompt时不能有效去除噪声给出错误的[unchange]这个prompt时会引入伪影。还做了不同文本编码器的影响我觉得没必要吧。因为你这个text prompt换成1234没准也work
