Stable Diffusion：使用自己的数据集微调训练LoRA模型（v2.0）

原创 已于 2025-08-12 22:31:06 修改 · 1.5k 阅读 · 26 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#python #人工智能 #stable diffusion #大模型 #aigc
于 2025-08-12 22:27:23 首次发布
该文章已生成可运行项目，

Stable Diffusion：使用自己的数据集微调训练LoRA模型（v2.0）

在这里插入图片描述
在这里插入图片描述

前言

环境要求

Package                      Version            Editable project location
---------------------------- ------------------ ----------------------------------
Python                       3.10.18
absl-py                      2.3.1
accelerate                   0.25.0
aiofiles                     23.2.1
aiohappyeyeballs             2.6.1
aiohttp                      3.12.15
aiosignal                    1.4.0
albumentations               1.4.3
altair                       4.2.2
annotated-types              0.7.0
antlr4-python3-runtime       4.9.3
anyio                        4.9.0
appdirs                      1.4.4
astunparse                   1.6.3
async-timeout                5.0.1
attrs                        25.3.0
bitsandbytes                 0.43.0
certifi                      2025.7.14
charset-normalizer           3.4.2
click                        8.2.1
colorama                     0.4.6
coloredlogs                  15.0.1
contourpy                    1.3.2
controlnet_aux               0.0.10
cycler                       0.12.1
dadaptation                  3.1
diffusers                    0.25.0
docker-pycreds               0.4.0
easygui                      0.98.3
einops                       0.7.0
entrypoints                  0.4
exceptiongroup               1.3.0
fairscale                    0.4.13
fastapi                      0.112.4
ffmpy                        0.6.1
filelock                     3.18.0
flatbuffers                  25.2.10
fonttools                    4.59.0
frozenlist                   1.7.0
fsspec                       2025.7.0
ftfy                         6.1.1
gast                         0.6.0
gitdb                        4.0.12
GitPython                    3.1.45
google-pasta                 0.2.0
gradio                       4.44.1
gradio_client                1.3.0
grpcio                       1.74.0
h11                          0.16.0
h5py                         3.14.0
httpcore                     1.0.9
httpx                        0.28.1
huggingface-hub              0.20.1
humanfriendly                10.0
idna                         3.10
imagesize                    1.4.1
importlib_metadata           8.7.0
importlib_resources          6.5.2
invisible-watermark          0.2.0
Jinja2                       3.1.6
jsonschema                   4.25.0
jsonschema-specifications    2025.4.1
keras                        3.11.0
kiwisolver                   1.4.8
libclang                     18.1.1
library                      0.0.0              
lightning-utilities          0.15.0
lion-pytorch                 0.0.6
lycoris_lora                 2.2.0.post3
Markdown                     3.8.2
markdown-it-py               3.0.0
MarkupSafe                   2.1.5
matplotlib                   3.10.3
mdurl                        0.1.2
ml_dtypes                    0.5.3
mpmath                       1.3.0
multidict                    6.6.3
namex                        0.1.0
networkx                     3.4.2
numpy                        1.26.4
omegaconf                    2.3.0
onnx                         1.16.1
onnxruntime-gpu              1.17.1
open-clip-torch              2.20.0
opencv-python                4.7.0.68
opt_einsum                   3.4.0
optree                       0.17.0
orjson                       3.11.1
packaging                    25.0
pandas                       2.3.1
pathtools                    0.1.2
pillow                       10.4.0
pip                          25.1
prodigyopt                   1.0
propcache                    0.3.2
protobuf                     3.20.3
psutil                       7.0.0
pydantic                     2.10.6
pydantic_core                2.27.2
pydub                        0.25.1
Pygments                     2.19.2
pyparsing                    3.2.3
pyreadline3                  3.5.4
python-dateutil              2.9.0.post0
python-multipart             0.0.20
pytorch-lightning            1.9.0
pytz                         2025.2
PyWavelets                   1.8.0
PyYAML                       6.0.2
referencing                  0.36.2
regex                        2025.7.31
requests                     2.32.4
rich                         14.1.0
rpds-py                      0.26.0
ruff                         0.12.7
safetensors                  0.4.2
scipy                        1.11.4
semantic-version             2.10.0
sentencepiece                0.2.0
sentry-sdk                   2.34.0
setproctitle                 1.3.6
setuptools                   78.1.1
shellingham                  1.5.4
six                          1.17.0
smmap                        5.0.2
sniffio                      1.3.1
starlette                    0.38.6
sympy                        1.14.0
tensorboard                  2.19.0
tensorboard-data-server      0.7.2
tensorflow                   2.19.0
tensorflow-io-gcs-filesystem 0.31.0
termcolor                    3.1.0
timm                         0.6.12
tk                           0.1.0
tokenizers                   0.15.2
toml                         0.10.2
tomlkit                      0.12.0
toolz                        1.0.0
torch                        2.1.2+cu118
torchaudio                   2.1.2+cu118
torchmetrics                 1.8.0
torchvision                  0.16.2+cu118
tqdm                         4.67.1
transformers                 4.38.0
typer                        0.16.0
typing_extensions            4.14.1
typing-inspection            0.4.1
tzdata                       2025.2
urllib3                      2.5.0
uvicorn                      0.35.0
voluptuous                   0.13.1
wandb                        0.15.11
wcwidth                      0.2.13
websockets                   12.0
Werkzeug                     3.1.3
wheel                        0.45.1
wrapt                        1.17.2
xformers                     0.0.23.post1+cu118
yarl                         1.20.1
zipp                         3.23.0

相关介绍

  • Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
  • PyTorch 是一个深度学习框架，封装好了很多网络和深度学习相关的工具方便我们调用，而不用我们一个个去单独写了。它分为 CPU 和 GPU 版本，其他框架还有 TensorFlow、Caffe 等。PyTorch 是由 Facebook 人工智能研究院（FAIR）基于 Torch 推出的，它是一个基于 Python 的可续计算包，提供两个高级功能：1、具有强大的 GPU 加速的张量计算（如 NumPy）；2、构建深度神经网络时的自动微分机制。
  • AIGC（人工智能生成内容）是指由人工智能系统创建或生成的内容。它涉及使用人工智能技术，如机器学习、自然语言处理和计算机视觉，生成各种形式的内容，包括文本、图像、视频、音乐等。
  • 稳定扩散（Stable Diffusion）是一种用于概率建模和图像处理的方法。它基于扩散过程的理论，旨在对图像进行平滑和去噪处理，同时保持重要的图像结构和细节。
  • 稳定扩散方法通过在图像上应用非线性扩散算子来实现平滑和去噪。与传统的线性扩散方法不同，稳定扩散引入了非线性项，以更好地保留图像的边缘和细节。
  • 稳定扩散的核心思想是在扩散过程中考虑梯度信息，并根据梯度大小和方向来调整扩散速度。这样可以在平滑图像的同时，有效地抑制边缘的模糊和细节的丢失。
  • 稳定扩散方法在图像去噪、边缘保持、纹理增强等方面具有广泛应用。它提供了一种平衡平滑和保持图像结构的方法，可以应用于计算机视觉、图像处理和模式识别等领域。
  • LoRA模型全称是：Low-Rank Adaptation of Large Language Models，可以理解为Stable-Diffusion中的一个插件，仅需要少量的数据就可以进行训练的一种模型。
  • LoRA模型可以用于大语言模型的微调，可以用来降低微调成本。
  • LoRA模型可以和大模型结合使用，干涉大模型产生的结果。
  • LoRA采用的方式是向原有的模型中插入新的数据处理层，从而避免了去修改原有的模型参数，从而避免将整个模型进行拷贝的情况，同时其也优化了插入层的参数量，最终实现了一种很轻量化的模型调校方法。
  • LoRA建议冻结预训练模型的权重并在每个Transformer块中注入可训练层（秩-分解矩阵）。 LoRA还可以用于Stable-diffusion中的交叉关注层，从而改善用文字生成图片的效果。
  • LoRA模型的个头都比较小，常见的都是144MB左右，使用的时候要与精简版（prund）的Stable Diffusion1.5模型配合使用。
    在这里插入图片描述

微调训练LoRA模型

下载kohya_ss项目

Windows

在这里插入图片描述下载解压后，项目目录，如下图所示。
在这里插入图片描述

Linux

git clone -b v24.1.7 https://github.com/bmaltais/kohya_ss.git
cd kohya_ss/

安装kohya_ss项目

  1. 打开终端并导航到所需的安装目录。
    进入kohya_ss目录:
cd kohya_ss
  1. 执行如下命令运行setup脚本:
# CUDA 11.8
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements_pytorch_windows.txt -i https://mirrors.aliyun.com/pypi/simple
pip install -r requirements_windows.txt 
pip install xformers==0.0.23.post1+cu118 --index-url https://download.pytorch.org/whl/cu118

pip install gradio_client -i https://mirrors.aliyun.com/pypi/simple --no-deps	
pip install httpx -i https://mirrors.aliyun.com/pypi/simple --no-deps
pip install tqdm -i https://mirrors.aliyun.com/pypi/simple --no-deps
pip install PyYAML -i https://mirrors.aliyun.com/pypi/simple
pip install gradio==4.44.1 -i https://mirrors.aliyun.com/pypi/simple
pip install pydantic==2.10.6 -i https://mirrors.aliyun.com/pypi/simple
pip install -e ./sd-scripts

如果没有报错，则安装成功。

运行kohya_ss项目

在Windows上，在终端中运行它，命令如下：

python kohya_gui.py --listen 127.0.0.1 --server_port 7860

在这里插入图片描述

运行成功后，可在浏览器输入http://127.0.0.1:7860/打开，如下图所示。
在这里插入图片描述

注：详细使用教程可查阅此项目中的README.md文件

准备数据集

在kohya_ss项目下，创建一个train目录，具体内容如下：
在这里插入图片描述
在这里插入图片描述

  • images : 训练图片和对应的TXT标注文件所在文件夹。
  • logs：保存训练记录的文件夹
  • models：模型保存路径
  • images目录还有一个子目录，比如本文这里是50_Anime，50表示50个steps，会直接影响训练的步数和效果，Anime表示图片相关主题描述。

微调参数设置

  • 本文预训练模型使用的是v1-5-pruned-emaonly.safetensors
    在这里插入图片描述

开始训练LoRA模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

训练完成后，会在models文件夹里生成一个.safetensors模型文件
在这里插入图片描述

TensorBoard查看训练情况

在页面上，点击Start TensorBoard，打开网址http://127.0.0.1:6006，即可查看。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

测试训练的LoRA模型

测试模型，需要使用到Stable Diffusion WebUI项目，具体安装方法，可查阅Stable Diffusion：在服务器上部署使用Stable Diffusion WebUI进行AI绘图（v2.0）

  1. 将kohya_ss/train/20250812/models目录里的Anime_bs1_epoch50_fp16.safetensors模型文件分别拷贝到stable-diffusion-webui项目里的stable-diffusion-webui/models/Lora目录下。

在这里插入图片描述

  1. 在stable-diffusion-webui目录下，使用命令在终端中运行它，命令如下：
python launch.py --listen --enable-insecure-extension-access --port 7860

在这里插入图片描述

运行成功后，可在浏览器输入http://127.0.0.1:7860/打开，如下图所示。
在这里插入图片描述

  1. 使用自己训练的LoRA模型
    在这里插入图片描述

文生图（txt2img）

 <lora:Anime_bs1_epoch50_fp16.safetensors:1>1boy, bandages, black background, black jacket, blue eyes, gojou satoru, hand up, jacket, jujutsu kaisen, looking at viewer, male focus, parted lips, s0311 tre, short hair, simple background, solo, twitter username, upper body, white hair, wind

在这里插入图片描述

参考

[1] https://github.com/bmaltais/kohya_ss.git
[2] https://github.com/AUTOMATIC1111/stable-diffusion-webui
[3] https://github.com/camenduru/stable-diffusion-webui
[4] https://www.kaggle.com/code/camenduru/stable-diffusion-webui-kaggle
[5] https://blog.csdn.net/wpgdream/article/details/130607099
[6] https://zhuanlan.zhihu.com/p/620583928

本文章已经生成可运行项目
LoRA微调stable diffusion models：原理和实战
沉迷单车的追风少年
05-10 3247
​AIGC大模型(如stable diffusion models)的训练成本已经超过绝大多数人的承受范围，如何利用已有的开源大模型，花费较小的成本微调出属于自己的专有模型？现在微调方法diffusion大模型基本只剩下Dreambooth、textual inversion、LoRA和Hypernetworks四种方法。上一篇博客《如何定制属于自己的stable diffusion？Dreambooth原理详解和代码实战》讲解了Dreambooth方法，这篇博客讲解一下LoRA方法。
stable diffusion的微调和lora微调代码版本
liguandong
09-15 2783
这个版本是我训练的主要版本，基本上很多的sd训练都是在这个版本上改的，我也是以这个版本为基础，基本的fine-tune和lora finetune都有，训练的版本也比较丰富，包括unet和text encoder的训练等等，但是这里面有个文生图和图生图的区分，即inpaint的训练是否需要抽出来单独写，我看dreambooth是单独抽出来的版本，其他text_to_image目前没有提供inpaint的lora训练。秋叶，继承自sd-scripts，做了封装，有了webui。1.diffusers版本。
stable diffusion模型训练时数据量
liguandong
09-24 3709
laion2B-en数据集，是laion5B的一个子集，更具体的说它是laion-5B中的英文数据集，laion-5B是从网页数据common crawel中筛选出来的图像文本对，包含5.85B的图像文本对，其中文本为英文的数据量为2.32B，这就是laion-2B-en数据集。在laion-2B-en数据集上评分为5以上训练的，先用256x256，再用512x512，用了32台8卡A100 40G，bs=32x8x2x2=2048。在laion-2B-en数据集上评分为4.5以上训练的，
Stable Diffusion：使用自己的数据集微调训练LoRA模型
FriendshipTang的博客
08-20 9899
Python、PyTorch、AIGC、Stable Diffusion、LoRA、Al绘图
基于LoRA微调部署Stable Diffusion【免费试用阿里云】
dzysunshine的博客
07-25 3202
Stable Diffusion 是一种文本到图像的潜在扩散模型，由 Runway 和慕尼黑大学合作构建，第一个版本于 2021 年发布。目前主流版本包含 v1.5、v2和v2.1。它主要用于生成基于文本描述得详细图像，也应用于其他任务，如修复图像、生成受文本提示引导的图像到图像的转换等。本文主要讲解如何免费在**阿里云交互式建模（PAI-DSW）**中基于LoRA微调并部署 Stable Diffusion。
【Stable diffusion inpaiting】训练自己数据集
prinTao的博客
12-28 2569
如果图像不是正方形，使用crop或者transform变换配置文件修改解释运行配置文件检查输入图像是不是8bit，不是的话需要转换。变成。
从0到1，入门到进阶玩转AI——Stable Diffusion超详细教程（二）
不专业的专业人士
06-25 1273
Stable Diffusion进阶，学会使用插件，让AI更有乐趣
Stable Diffusion学习（LoRA微调）
最新发布
m0_65803902的博客
03-23 2043
由于训练和推理都需要较大显存和算力，因此此后文章都围绕linux进行学习开发，便于大家花点小钱租个服务器就可以复现学习理解！（在这里许愿希望自己可以全部学完，立个flag！
stable diffusion(Lora的训练)
热门推荐
qq_44963223的博客
04-04 1万+
以坤坤为例，上网随便找了几个坤坤的人脸图像，作为训练的数据集。
stable diffusion模型训练的数据集格式
weixin_42596214的博客
12-28 1335
stable diffusion模型是一种用于预测交流信息传播的模型。在训练stable diffusion模型时，所使用的数据集应该包含关于信息传播的历史信息。 具体来说，数据集应包含每个信息传播事件的时间戳、传播者的标识符以及被传播的信息的标识符。例如，一个简单的数据集可能包含以下内容： timestamp sender message 1 A M1 2 B M1 3 A ...
图像生成：SD LoRA模型详解
WiSirius的博客
11-29 5897
相信在SD的生图过程中，我们对LoRA都不陌生，但是它的模型文件是什么样子的，保存的东西是什么，如何起作用的，接下来将详细探讨一下。
基于LoRA进行Stable Diffusion的微调
weixin_46414659的博客
07-28 1038
微调时只需要使用以下命令运行 train_text_to_image_lora.py 文件即可。需要根据下载的路径文件地址对相应的参数进行修改，如。样本数据量为883，这里设置了train_batch_size为2，max_train_steps为7500，数据集一共883条样本，包含两个部分：image（图）和 text（文），如下图所示。代码运行后，会生成一个 pokemon.png 的图片，如下图所示。微调完成后，可以使用下面代码进行推理。# 报错，无法安装（待解决）clone命令下载数据集。
实践教程｜使用Stable Diffusion图像修复来生成自己的目标检测数据集
idol24的博客
09-13 2468
作者丨Rédigé par Gabriel Guerin来源丨AI公园深度学习模型需要大量的数据才能得到很好的结果，目标检测模型也是一样。要训练一个YOLOv5的模型来自动检测你最喜欢的玩具，你需要拍几千张你的玩具在不同上下文中的照片，对于每张图，你需要标注玩具在图中的位置。这样是非常耗时的。本文提出了使用图像分割和stable diffusion来自动生成目标检测数据集的方法。生成自定义数据...
使用Stable Diffusion生成的图像合成数据集
vicenthao的博客
09-19 2535
使用Stable Diffusion生成图像合成数据集
基于kohya的Stable Diffusion训练Lora模型
benben044的专栏
08-18 4117
通过kohya进行lora训练的过程演示
StableDiffusion中LORA模型的使用
qq_52231465的博客
05-15 1万+
（1）Sampler——采样方式，在Stable Diffusion WebUI中的Sampling method中进行选择（2）Model——作者使用的大模型，在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择（3）CFG scale——提示词相关性，在Stable Diffusion WebUI中的CFG scale进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值