DDPM与DDIM图像编辑入门概念和知识

目录

1. DDPM（Denoising Diffusion Probabilistic Models）与DDIM（Denoising Diffusion Implicit Models）

2. ControlNet：Adding Conditional Control to Text-to-Image Diffusion Models

1. DDPM（Denoising Diffusion Probabilistic Models）与DDIM（Denoising Diffusion Implicit Models）

DDPM是开山之作，DDIM是基于DDPM的。

DDPM是一个特殊的VAE。它的编码器是步固定的加噪操作，解码器是步可学习的去噪操作。模型的学习目标是让每一步去噪操作尽可能抵消掉对应的加噪操作。

参考：https://zhuanlan.zhihu.com/p/666552214

(上面知乎这篇讲的非常好)

Null-Text Inversion论文可视化了DDIM Inversion（加噪）不同CFG权重w对重构性和编辑性的影响：w越小，DDIM Inversion得到的ZT越服从高斯分布，编辑性越强（接近Diffusion的latent space，便于利用模型本身生成能力实现编辑）

参考：扩散模型Inversion7篇工作汇总 - 知乎

2. ControlNet：Adding Conditional Control to Text-to-Image Diffusion Models

目的：

（1）让预训练好的大型DDPM模型支持额外的输入条件（如Canny edges、Hough lines、user scribbles、segmentation maps、human key points、shape normals、depths等） 

（2）不同于image-to-image translation致力于学习不同domain之间的映射，ContrlNet旨在用task-specific condition来控制扩散模型

方法：

参考： [ControlNet] Adding Conditional Control to Text-to-Image Diffusion Models_controlnet: adding conditional control to text-to--CSDN博客