条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models

  在之前的扩散模型介绍中，入门-1，主要考虑的是无条件下的图片生成，涉及到的问题主要是如何保证图片的质量，这个过程需要考虑很多的参数项，参数设定的不同会对图片的质量和多样性产生很大的影响。
  能够让diffusion模型在工业界中大放异彩的模型，比如条件控制模型，是在diffusion模型的基础上改进起来的
我个人感觉这篇文章还挺有趣的
  一般在想到控制生成的情况下，会考虑在原始的训练阶段中就加入控制语句，但这需要从头开始训练一个大模型。
  另一种情况是在训练后，考虑加入控制语句，但再训练后怎么使用提示的方式达到控制生成的目的，效果很难改善。
这篇文章似乎是结合两种情况的折中方案，在保留大模型参数的情况下，还能够通过简单的微调达到模型更新的目的，进而实现条件控制生成。

1.简介

  先猜一下，为神魔会有这种方案出来？我想是因为end-2-end的调优是比较简单快速，而且效果相较而言还能够接受的一种，但是，在LLM上的微调，参数规模太大了，很难有效的调整，又能够适应小游玩家，又能提高效率，在LLM中加入条件控制语句就成了一种方案。

  文中还解释了一种场景，是在比较细节的调整中，比如人的姿势，如果使用prompt的方式的话，很难调整效果达到一个可接受的情况。

2.模型方法

在LLM的基础上，加入新的参数作为condition部分的参数，作为模型微调过程中更新的参数，以支持模型能够学习得到条件控制语句下的结果。
  在操作上，将LLM的整个架构分为了几个模块，按照参数是否更新，将LLM的参数分为lock 和 unlock的两部分，对于unloack的部分，是在copy这一部分参数的条件下，来训练的。
lock 部分的参数是为了让模型能够保持大模型的能力，毕竟大模型是在上亿图片下的参数学习。train部分的参数是为了使模型学习得到条件下的控制结果。

模型简图：
  当ControlNet应用于某些神经网络块时，在任何优化之前，它