生成模型学习笔记——DDPM、DDIM、VAE、ControlNet

各种生成模型：VAE、GAN、flow、DDPM、autoregressive models

VAE 通过最大化重建数据的概率来学习数据的潜在分布。3. LoRA：低秩适配(Low-Rank Adaptation,LoRA)是一种用于迁移学习的方法，它允许在新任务上微调预训练模型，同时保持原始预训练模型的不变。LoRA 通过在预训练模型的输出和任务特定模型的输入之间引入一个低秩适配矩阵来实现这一点，从而最小化对原始预训练模型的影响。1. Checkpoint 大模型：Checkpoint 大模型是一种深度学习模型，通过将模型参数保存到磁盘上并随时恢复它们来避免重新训练模型的昂贵成本和时间。

最初的 ControlNet 主要用于线稿上色、图像风格化、可控姿态的人体生成等任务。如今各路网友脑洞大开，使用 ControlNet 做出了创意二维码、将文字自然地融入照片等趣味效果。

首先介绍了ControlNet模型的最新进展和未来趋势，下载与安装方法。然后详细介绍ControlNet模型的含义与相关参数。

好的大型DDPM模型支持额外的输入条件（如Canny edges、Hough lines、user scribbles、segmentation maps、human key points、shape normals、depths等）（2）不同于image-to-image translation致力于学习不同domain之间的映射，ContrlNet旨在用task-specific condition来控制。DDPM是开山之作，DDIM是基于DDPM的。

扩散模型关键升级路径对比 本文系统梳理了扩散模型从基础研究到产品落地的关键升级路径：DDPM→DDIM→LDM→Stable Diffusion→ControlNet。DDIM通过确定性采样实现10-50倍加速；LDM将扩散过程移至潜空间，计算量降低16-32倍；Stable Diffusion整合文本条件和模块化设计，实现文生图/图生图功能；ControlNet通过控制分支注入结构信息，实现精准可控生成。表格对比显示，Stable Diffusion+ControlNet组合已实现产品级可用性，在保持生成

DALL·E 1可以看成是VQ-VAE和文本经过BPE编码得到的embedding。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

ControlNet 是一个任务相关的端到端方法，即对于每一种控制类型都要训练一个特定的 ControlNet 支持， 比如线图控制、深度图控制、姿态控制等等。这样有好处也有坏处， 单独看一个场景，拥有使用简单、训练成本低等优点。但是，如果面对一个复杂场景（多场景），反而变得略麻烦，每一个细分场景都要训练和维护一个模型， 成本高昂，也不易用。LoRA与Adapter的区别：adapter是在模块的后面接上一个mlp，对模块的计算结果进行一个后处理。

DDPM = 自回归式 VAE

本文深入探讨了去噪扩散概率模型（DDPM）的核心原理与工作机制。DDPM通过正向逐步加噪和反向去噪两个过程实现图像生成：前向过程将数据逐渐扰动为高斯噪声，反向过程则通过神经网络学习逐步去噪以重建原始图像。文章详细推导了DDPM的优化目标——证据下界（ELBO），重点分析了通过预测噪声来实现分布逼近的关键机制。文中还对比了DDPM与变分自编码器（VAE）在理论框架上的相似性，指出二者都采用变分推断方法最大化对数似然。最后具体阐述了DDPM的训练策略和采样过程，揭示了该模型从噪声中重构高质量图像的数学原理。

本文概述了图像生成模型的三代发展：1）GAN通过生成器与判别器对抗博弈，在像素空间伪造图像；2）扩散模型（DDPM）通过逆向去噪过程，从噪声中重建图像；3）潜在扩散模型（LDM）结合VAE/RAE压缩技术，在潜在空间实现高效生成，如Stable Diffusion。关键进步在于：从对抗学习转向破坏-重建范式，再优化到语义感知的高效潜在空间操作。三种模型各具特色，GAN开创但训练困难，DDPM质量高但计算量大，LDM在速度与质量间取得平衡。

在图像生成领域，ControlNet和VAE（变分自编码器）是两个至关重要的技术组件。ComfyUI-Impact-Pack项目近期针对这两者的集成进行了重要优化，解决了用户在使用细节增强功能时遇到的技术瓶颈。 ## 技术背景 ControlNet是一种用于精确控制图像生成过程的神经网络架构，它能够将额外的控制条件（如边缘图、深度图等）注入到生成过程中。而VAE则负责将图像在像素空间和潜在空间...

Hypernetwork(超网络)，就像是一个有特殊能力的助手，它可以帮助其他的神经网络变得更聪明。想象一下，你有一支足球队，每个球员都有自己的位置和技能。现在，如果有一个教练，他可以根据比赛的需要，临时给球员们一些额外的技能或建议，让球队表现得更好。Hypernetwork(超网络)在这个比喻中，就扮演了那个教练的角色。调整参数：Hypernetwork(超网络)会在原有的扩散模型基础上，新建一个神经网络来调整模型的参数。这就像是给足球队的每个球员一些特殊的训练，让他们在比赛中表现得更出色。效果类似。

【diffuser系列】ControlNet

变分自编码器（VAE）作为一种重要的生成模型，通过概率图模型与变分推断的结合，在数据生成与表示学习中发挥了关键作用。然而，VAE在训练稳定性、生成质量等方面仍存在局限性。本文将从数学视角剖析VAE的核心思想及其潜在问题，帮助读者深入理解其原理与挑战。进一步地，我们总结了DDPM相对于VAE的优势之处。

进一步地，可以这么理解：如果没有KL损失，那么VAE退化为类似AE的模型，隐空间的编码会尽量相隔很远，变得离散化，Decoder也就难以根据新的隐变量编码生成新的图像；VAE的隐空间不直接编码一系列离散的特征值，它的隐空间实际上是一个混合高斯分布，Encoder的输出描述了这样一个复杂分布，Decoder的输出将这种该分布中的一个采样点映射到图像分布。因为AE的隐空间是直接对图像编码，编码的空间是离散的、无规律的，所以当我们选择原有的。一个是约束Encoder的损失，一个是约束Decoder的重构损失。

扩散模型和自回归模型结合做多变量的序列预测的任务，基于过去一段时间的数据去预测未来一段时间的数据，并且是由一种自回归的方式去预测通过DDPM的回顾，我们得到了目标函数将其运用到自回归模型，我们可以用RNN或者Transformer构建时间依赖性的网络xt-1和ct-1输入到RNN中，生成ht-1，使用条件的扩散模型得到xt，ht-1作为模型的条件，现在有一个条件概率模型能够基于ht-1预测当前时刻的所想要的xt，前向过程还是从x0到xN，只不过在逆扩散过程构建噪声网络的时候加入一个ht-1。