【关键】SD最重要插件ControlNet详解-重中之重

原创已于 2025-02-05 10:08:26 修改 · 4.4k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#stable diffusion #AI作画 #aigc #人工智能 #计算机 #flux #学习

于 2024-10-22 16:05:28 首次发布

该文章已生成可运行项目，

大家好我是AIGC阿道夫
Controlnet是SD里一个很重要的插件，在SD出图的过程中，它直接给SD增加了一个维度，让出图的精细度方面上了一个台阶。可以说，这个插件是学SD绕过去的一个点。

它的工作原理是什么呢？在SD出图过程中，如果使用controlnet插件，可以使用它里面的参考图来给我们画图，就像盖房子的图纸一样精细。利用图纸来实现我们心中理想的样子。

在这里插入图片描述

现在的版本，无论是秋叶大佬的整合包，还是从网上直接下载，都内置了controlnet插件，从文生图，图生图进去，下面插件位置都可以找到controlnet插件，展开还有详细参数设置。

在这里插入图片描述

或者在顶部后面这些插件，也可以调用controlnet，所以他们是可以联动的。

在这里插入图片描述

controlnet插件，包括预处理器和模型两部分，预处理器相当于图纸，模型相当于施工方法，有了图纸，还得选择对应的施工方法，以前内置的controlnet只有左边的预处理器，右边模型是空的，还得下载，现在新的版本把模型也内置了，省去下载的麻烦。

在这里插入图片描述

使用方法

当我们想要出图的基本参数都设置好了之后，比如在选好了大模型，写好了提示词，设置好了参数，迭代步数，分辨率等等，接下来我想使用controlnet给我提高一个维度来出图，怎么用，点开它的标签页。

这么多个controlnet用哪个，它们代表不同维度，如果你只有一个controlnet，那我们需要点击上面的设置标签
在这里插入图片描述

找到ControlNet。

在这里插入图片描述

把controlnet的controlnet unit最大数量拉大，大概4左右，点击上面的保存，和重载UI，再打开就多了几个标签。

接下来是单张图片绘制

中间是上传图片区域，上传一张图片

在这里插入图片描述

下面几个按钮

在这里插入图片描述

启用按钮，相当于总闸，是controlnet生效。

中间是低显存模式和完美像素模式，如果机器经常出现爆显存，就选低显存模式，反之，就选完美像素模式。

勾选允许预览，图片右侧会出现一个图片框，是我们图片经过预处理之后生成的参考图片

在这里插入图片描述

允许预览下的一排按钮。

第一个，打开新画布

点创建新画布，如果没有上传图片，可以涂鸦画一幅图片作为参考图，这个用的很少，一般都是上传图片作为参考图

第二按钮，开启网络摄像头

点击之后，可以调用摄像头，临时拍一张照片作为参考图。

第三个，反转摄像头，跟第二个相对应，这几个用的都很少。

第四个，调整图片大小，这是常用的

在生图的参数部分，我们已经设置了想要生成图片的尺寸大小，如果controlnet的参考图片尺寸与设置出图的尺寸不一致，那参考图片将会丢失一些数据，或压缩画面，这时候点击一下这个按钮，将参考图片尺寸同步到上面设置的出图尺寸，出出来的图才能更完整。

我们上传的这张参考图是536*536，上面设置出图设置参数为512*512，

点击一下这个按钮，这个512*512就会变为536*536。

预处理器

之前提到预处理器就相当于一幢大楼的各个部分的图纸，有可以使用硬边缘检测，仅局部重绘等等

右边也有硬边缘检测等对应的模型，两边都选上之后，controlnet才能生效。

控制类型

刚才是一个个选的预处理器和对应模型，现在只要点击上面的某个类型，预处理器和模型会自动填充，并且把下面的参数都设置好

我选了一个硬边缘检测，下面的对应参数都自动配合好了。

但是你点开预处理器会发现，这个硬边缘检测类型给我选上了好几种预处理器，这时你还可以进行更精细的选择，比如你还可以选其中的canny，或者invert，当然不选也行。

案例

上传一张图片，先勾选允许预览，

选择类型，比如硬边缘，点中间的爆炸按钮，预览图片就会生成参考图片

把轮廓线勾勒出来了，这是硬边缘类型。

在出图的时候，SD要参考这个轮廓线来出图。

再把图片尺寸同步到上面。

直接出图

说下，启动controlnet会很吃显存的，如果你是4G一定会爆显存，6G可以看看运气，8G基本没啥问题。它给我生成了一张有点偏二次元类型的图片，是因为我得底模选的是二次元。

变换一个真实系

现在出出来的结果是和参考图很像的，其实我们基本没写啥提示词，这就是controlnet强大之处。

再看看控制参数

控制权重

如果是1话，基本按照参考图出图，如果调成0.2，出出来是这样的

是因为controlnet 对这张图的出图能力控制就很很弱了，权重太低。

通过过高的情况下，基本也看不太出来多大变化，一般情况下就保持默认，1的状态。

引导介入时机和引导终止时机

它是对应步数的，引导介入时机为0，是一开始就启动controlnet，引导终止时机为1，是全部完成了再退出。

如果引导介入时机调整0.3，上面的步数为30步的话，那就是30*0.3=9，在第九步的时候启动controlnet，试一下

出出来的图是这样的，上面有点相似，下面就变化比较大了，终止时机也是如此。

那如果介入时机为0，终止时机为0.7的话，出出来的图跟参考图也是很像的，那是因为到后面外面的轮廓都已经成形，调整的是细节部分，所以，终止时间是可以提前结束的。

在下面就是调整它的预处理的一些参数，后面按照类型一一对应讲解。

下面是控制模式

很好理解，是控制SD生图更偏向于提示词，还是controlnet。

缩放模式

我们之前都讲过了，忘记的可以翻前面文章看看。

controlnet插件基本功能就介绍完了，这也是SD目前相当重要的插件，它能够达到我们需要的更精细的出图效果，如果不会利用这个插件，还不如用Midjourney出图，这也是SD和Midjourney主要区别之一，一个偏向整体，一个偏向细节，都学会之后，可以两者搭配使用，产出更高级更唯美更实用的图！

资料软件免费放送

次日同一发放请耐心等待