Stable Diffusion：使用自己的数据集微调 Stable Diffusion 3.5 LoRA 文生图模型

最新推荐文章于 2026-03-05 01:20:50 发布
原创 最新推荐文章于 2026-03-05 01:20:50 发布 · 1.4k 阅读 · 16 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
人工智能应用

当前文章被收录于：

人工智能应用
59 篇文章 2 人学习

以实战为线索，学习、应用、部署主流人工智能相关算法。

订阅专栏 查看详情
AI大模型应用开发

当前文章被收录于：

AI大模型应用开发
5 篇文章 0 人学习

AI大模型应用开发

订阅专栏 查看详情

Stable Diffusion：使用自己的数据集微调 Stable Diffusion 3.5 LoRA 文生图模型

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

前言

环境要求

Package                  Version
------------------------ ------------
absl-py                  2.3.1
accelerate               1.11.0
aiohappyeyeballs         2.6.1
aiohttp                  3.13.1
aiosignal                1.4.0
annotated-types          0.7.0
anyio                    4.11.0
attrs                    25.4.0
bitsandbytes             0.48.1
certifi                  2025.10.5
charset-normalizer       3.4.4
click                    8.3.0
datasets                 4.2.0
diffusers                0.35.2
dill                     0.4.0
filelock                 3.20.0
frozenlist               1.8.0
fsspec                   2025.9.0
gitdb                    4.0.12
GitPython                3.1.45
grpcio                   1.75.1
h11                      0.16.0
hf-xet                   1.1.10
httpcore                 1.0.9
httpx                    0.28.1
huggingface-hub          0.35.3
idna                     3.11
importlib_metadata       8.7.0
Jinja2                   3.1.6
Markdown                 3.9
MarkupSafe               3.0.3
modelscope               1.31.0
mpmath                   1.3.0
multidict                6.7.0
multiprocess             0.70.16
networkx                 3.5
numpy                    2.3.4
nvidia-cublas-cu11       11.11.3.6
nvidia-cuda-cupti-cu11   11.8.87
nvidia-cuda-nvrtc-cu11   11.8.89
nvidia-cuda-runtime-cu11 11.8.89
nvidia-cudnn-cu11        9.1.0.70
nvidia-cufft-cu11        10.9.0.58
nvidia-curand-cu11       10.3.0.86
nvidia-cusolver-cu11     11.4.1.48
nvidia-cusparse-cu11     11.7.5.86
nvidia-nccl-cu11         2.20.5
nvidia-nvtx-cu11         11.8.86
packaging                25.0
pandas                   2.3.3
peft                     0.17.1
Pillow                   9.5.0
pip                      24.0
platformdirs             4.5.0
propcache                0.4.1
protobuf                 6.33.0
psutil                   7.1.1
pyarrow                  21.0.0
pydantic                 2.12.3
pydantic_core            2.41.4
python-dateutil          2.9.0.post0
pytz                     2025.2
PyYAML                   6.0.3
regex                    2025.10.22
requests                 2.32.5
safetensors              0.6.2
sentencepiece            0.2.1
sentry-sdk               2.42.1
setuptools               65.5.0
six                      1.17.0
smmap                    5.0.2
sniffio                  1.3.1
sympy                    1.14.0
tensorboard              2.20.0
tensorboard-data-server  0.7.2
tokenizers               0.22.1
torch                    2.4.1+cu118
torchaudio               2.4.1+cu118
torchvision              0.19.1+cu118
tqdm                     4.67.1
transformers             4.57.1
triton                   3.0.0
typing_extensions        4.15.0
typing-inspection        0.4.2
tzdata                   2025.2
urllib3                  2.5.0
wandb                    0.22.2
Werkzeug                 3.1.3
xxhash                   3.6.0
yarl                     1.22.0
zipp                     3.23.0

相关介绍

  • Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
  • PyTorch 是一个深度学习框架，封装好了很多网络和深度学习相关的工具方便我们调用，而不用我们一个个去单独写了。它分为 CPU 和 GPU 版本，其他框架还有 TensorFlow、Caffe 等。PyTorch 是由 Facebook 人工智能研究院（FAIR）基于 Torch 推出的，它是一个基于 Python 的可续计算包，提供两个高级功能：1、具有强大的 GPU 加速的张量计算（如 NumPy）；2、构建深度神经网络时的自动微分机制。
  • Stable Diffusion 3.5 简介
    • 核心特点
      Stable Diffusion 3.5 是 Stability AI 于 2024 年 10 月 22 日正式发布的最新图像生成模型，是 Stable Diffusion 3.0 系列的升级版本，旨在回应社区对 SD3 Medium 版本的不满。
    • 主要版本：
      • Stable Diffusion 3.5 Large：80亿参数，支持100万像素分辨率的高清图像生成
      • Stable Diffusion 3.5 Large Turbo：80亿参数，仅需4步即可生成高质量图像，速度比 Large 版本快5-10倍
      • Stable Diffusion 3.5 Medium（10月29日发布）：25亿参数，适合消费级硬件，支持0.25-200万像素图像生成
    • 技术核心：
      • 采用 MM-DiT（Modified Multimodal Diffusion Transformer）作为核心
      • 基于改进的 MMDiT-X 架构和训练方法
      • 集成 Query-Key Normalization，简化微调过程，提升可定制性
    • 优势
      • 图像质量提升：生成图像更清晰，画质优于前代版本
      • 提示词遵循能力：在提示词精确度方面领先市场，能更准确地理解用户指令
      • 多样化输出：能生成代表不同肤色、特征和背景的图像，无需复杂提示词
      • 广泛风格支持：可生成3D渲染、摄影作品、传统绘画、线条艺术等多种风格
      • 商业友好：年收入不超过100万美元的组织或个人可免费商用
      • 修复重大Bug：修复了 SD3 中"无法生成躺在草地上的女孩"的重大问题
    • 局限性
      • 结构稳定性：与 Flux 模型相比，在手指、文字等结构细节上略逊一筹
      • 提示词要求：当提示词缺乏具体性时，输出结果的不确定性可能增加
      • 硬件需求：虽然比前代优化，但 Large 版本仍需要10G以上显卡和32G以上内存
    • 应用场景
      • 艺术创作：艺术家和设计师生成独特艺术作品或设计概念图
      • 游戏开发：快速生成游戏角色、场景和道具的概念图
      • 广告营销：设计广告图像和营销材料，快速迭代创意
      • 媒体娱乐：在电影和视频制作中生成特效背景或场景
      • 教育研究：创建教学材料或模拟科学现象
      • 商业应用：中小企业和个人可免费商用，用于产品设计和营销
    • 与竞品对比
      • 与 Flux.1 DEV 相比：SD3.5 Large 推理速度略快（1分50秒 vs 2分10秒），画质更清晰
      • SD3.5 在提示词遵循能力上更优，但 Flux 在结构稳定性（如手指、文字）上略胜一筹
      • SD3.5 Large 支持100万像素，Flux 支持200万像素
  • 官方源代码： https://huggingface.co/stabilityai/stable-diffusion-3.5-large
  • Patrick Esser, Sumith Kulal, Andreas Blattmann, Rahim Entezari, Jonas Muller, Harry Saini, Yam Levi, Dominik Lorenz, Axel Sauer, Frederic Boesel, Dustin Podell, Tim Dockhorn, Zion English,
    Kyle Lacey, Alex Goodwin, Yannik Marek, Robin Rombach, Stability AI. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis. 2024

微调 Stable Diffusion 3.5 LoRA 文生图模型

下载Stable Diffusion 3.5 LoRA Fine-Tuning项目

  • 官方源代码： https://github.com/seochan99/stable-diffusion-3.5-text2image-lora.git

Windows

在这里插入图片描述

Linux

git clone https://github.com/seochan99/stable-diffusion-3.5-text2image-lora.git

准备数据集

准备一个用于模型微调数据集。

dataset/
├── images/
│   ├── landscape_001.jpg
│   ├── portrait_001.jpg
│   └── ...
└── metadata.jsonl

在这里插入图片描述
在这里插入图片描述

metadata.jsonl，内容如下。

{"image": "images/landscape_001.jpg", "caption": "a breathtaking mountain landscape with snow-capped peaks, a crystal clear lake reflecting the sky, and pine trees in the foreground"}
{"image": "images/portrait_001.jpg", "caption": "a professional portrait of a young woman with curly brown hair, wearing a blue denim jacket, smiling softly, natural lighting"}
{"image": "images/cityscape_001.jpg", "caption": "a bustling cyberpunk cityscape at night, neon signs glowing in pink and blue, flying cars, futuristic skyscrapers reaching into the clouds"}
{"image": "images/nature_001.jpg", "caption": "a peaceful forest scene with tall oak trees, sunlight filtering through the leaves, a small stream flowing over rocks"}
{"image": "images/abstract_001.jpg", "caption": "an abstract digital art piece with flowing geometric shapes in vibrant colors, purple and gold gradients, modern minimalist style"}
{"image": "images/animal_001.jpg", "caption": "a majestic golden retriever dog sitting in a flower field, tongue out, happy expression, wildflowers in the background"}

下载预训练模型

Hugging Face

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com' # 如果没有科学上网，可以设置国内镜像。

from huggingface_hub import snapshot_download
snapshot_download(repo_id="stabilityai/stable-diffusion-3.5-large", local_dir="stabilityai/stable-diffusion-3.5-large")

Model Scope

from modelscope import snapshot_download
model_dir = snapshot_download('AI-ModelScope/stable-diffusion-3.5-medium', local_dir="stabilityai/stable-diffusion-3.5-medium")

进行训练

python stable-diffusion-3.5-text2image-lora-main/train_text_to_image_lora_sd35.py --pretrained_model_name_or_path stabilityai/stable-diffusion-3.5-medium --train_data_dir sd3_test/stable-diffusion-3.5-text2image-lora-main/examples/dataset/ --output_dir sd3_test/stable-diffusion-3.5-text2image-lora-main/outputs/sd35-lora --resolution 1024 --train_batch_size 1 --gradient_accumulation_steps 4 --num_train_epochs 50 --rank 64 --learning_rate 0.0001 --text_encoder_lr 1e-05 --lr_scheduler cosine --lr_warmup_steps 500 --lr_num_cycles 1 --mixed_precision fp16 --validation_epochs 2 --num_validation_images 2 --checkpointing_steps 500 --report_to tensorboard --dataloader_num_workers 2 --seed 42 --precondition_outputs 1 --random_flip --gradient_checkpointing --train_text_encoder

输出结果

在这里插入图片描述

进行预测

python stable-diffusion-3.5-text2image-lora-main/inference.py --model_path stabilityai/stable-diffusion-3.5-medium --lora_path stable-diffusion-3.5-text2image-lora-main/outputs/sd35-lora/pytorch_lora_weights.safetensors --prompt "a professional portrait of a young woman with curly brown hair, wearing a blue denim jacket, smiling softly, natural lighting" --num_images 4 --seed 42

输出结果

在这里插入图片描述

参考

[1] Patrick Esser, Sumith Kulal, Andreas Blattmann, Rahim Entezari, Jonas Muller, Harry Saini, Yam Levi, Dominik Lorenz, Axel Sauer, Frederic Boesel, Dustin Podell, Tim Dockhorn, Zion English,
Kyle Lacey, Alex Goodwin, Yannik Marek, Robin Rombach, Stability AI. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis. 2024
[2] https://huggingface.co/stabilityai/stable-diffusion-3.5-large
[3] https://huggingface.co/stabilityai/stable-diffusion-3.5-medium

标签
#stable diffusion #python #人工智能 #计算机视觉 #aigc
#AIGC
基于LoRA进行Stable Diffusion的微调
dzysunshine的博客
07-25 8100
微调时只需要使用以下命令运行 train_text_to_image_lora.py 文件即可。需要根据下载的路径文件地址对相应的参数进行修改，如。样本数据量为883，这里设置了train_batch_size为2，max_train_steps为7500，数据集一共883条样本，包含两个部分：image（图）和 text（文），如下图所示。也可以根据GPU资源调整相应的参数，如。显存占用约11个G，训练时长约8个小时左右。使用git clone命令下载数据集。
Stable Diffusion ControlNet 微调：自定义姿势引导的图像生成
2501_93877867的博客
10-30 399
准备数据集：收集图像-姿势对数据集。输入图像（如人物照片）。对应的姿势图（使用OpenPose等工具生成骨架图）。文本描述（可选，用于文本条件）。数据集应覆盖目标姿势的多样性（如不同角度、动作）。建议使用500-5000张图像以确保泛化能力。选择预训练模型：从Hugging Face模型库加载基础Stable Diffusion模型和ControlNet模型。。（专为姿势引导设计）。设置微调参数优化器：AdamW，学习率设置为$10^{-5}$到$10^{-4}$（较低学习率避免过拟合）。
【Stable Diffusion 3.5 FP8】4、定制化开发：LoRA 微调 Stable Diffusion 3.5 FP8 实现专属风格生成
2025博客之星Top81。专注AI工程化与架构实战。从分布式思维到模型部署，用工程化视角为你厘清AI落地的真实路径。
12-22 2311
本文介绍了使用LoRA技术微调Stable Diffusion 3.5 FP8模型实现个性化风格生成的方法。LoRA通过冻结原模型参数、仅训练少量低秩矩阵，显著降低了训练成本，与FP8量化技术结合后进一步优化了显存占用和训练速度。文章详细阐述了LoRA的工作原理、环境搭建要求，并以二次元风格生成为例，展示了从数据集准备到模型训练的全流程。该方法在消费级GPU上即可实现高效定制化生成，平衡了训练效率与生成质量。
【AIGC文生图】LoRA 训练流程
Kahoku 的博客
10-22 1291
用你的基础模型加载每个检查点的LoRA，在Stable Diffusion WebUI或ComfyUI中测试：使用与训练集相似的Prompt。使用包含LoRA触发词（如果定义了）的Prompt。观察生成图像的。
Stable diffusion LoRA 训练过程
xingtianyao的博客
04-17 1829
每一张图片生成一个对应的txt文件，txt文件中保存了该图片的prompt. demo_captioning.py 需要小改一下保存prompt就行。脚本diffusers-0.14.0/examples/text_to_image/train_text_to_image_lora.py。export MODEL_NAME="/diffusers-0.14.0/stable-diffusion-v1-5" 模型所在目录。# 3:遍历列表，将每一行的数据写入csv。2、自己数据集的制作。
stable diffusion LORA模型训练最全最详细教程
m0_64365896的博客
12-30 2149
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
文生图模型LoRA微调全面指南：从理论到实践
sinat_42247418的博客
09-23 1197
本文系统介绍了LoRA（低秩适应）技术在文生图模型中的应用。LoRA通过添加低秩矩阵实现轻量级微调，具有参数效率高、训练稳定、无推理延迟等技术优势。文章详细阐述了LoRA的数学原理和PyTorch实现方式，对比了其与传统全量微调的区别，并介绍了Diffusers中的LoRA训练流程，包括图像编码、噪声添加等关键步骤。此外，还探讨了LoRA的多种变体如QLoRA、LoRA+等技术的发展。该技术显著降低了训练资源需求，适合在消费级GPU上实现特定风格的图像生成任务。
Stable Diffusion：使用自己的数据集微调训练LoRA模型
FriendshipTang的博客
08-20 9902
Python、PyTorch、AIGC、Stable Diffusion、LoRA、Al绘图
huggingface学习|用dreambooth和lora对stable diffusion模型进行微调
weixin_47748259的博客
02-07 5740
新建一个python文件（如取名为train），保存以下代码，将对应的模型路径、prompt内容和图片名进行修改即可。新建一个python文件（如取名为train），保存以下代码，将对应的模型路径、prompt内容和图片名进行修改即可。–pretrained_model_name_or_path：Hub 上模型的名称或预训练模型的本地路径。–instance_data_dir：包含训练数据集的文件夹的路径（示例图像）–push_to_hub：是否将训练好的模型推送到Hub。运行上述python文件。
Stable Diffusion：使用自己的数据集微调训练LoRA模型（v2.0）
FriendshipTang的博客
08-12 1585
Python、PyTorch、AIGC、Stable Diffusion、LoRA、Al绘图
Stable Diffusion 3.5 开发指南（三）：Stable Diffusion 3.5 LoRA 微调
2511_93768618的博客
12-10 1200
本文介绍了Stable Diffusion 3.5模型的LoRA微调技术，核心是通过冻结原模型并插入低秩矩阵对，仅训练少量参数即可实现高效定制；涵盖了图像-文本对数据集准备、模型配置、基于特殊Flow Matching损失的训练流程及权重管理，具有参数量少（仅原模型1%-5%）、训练速度快、权重易分享等优势，能高效适配特定领域或风格的图像生成需求
HW10：尝试使用 LoRA 微调 Stable Diffusion 模型（文生图）
a131529的博客
12-09 2348
本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——作业笔记HW10。
5分钟搞定Stable Diffusion LoRA微调：从数据集准备到模型部署全流程
最新发布
c2d3e4f的博客
03-05 1279
本文提供了一份详尽的Stable Diffusion LoRA微调实战指南。通过LoRA技术，用户可在消费级显卡上快速定制专属AI绘画模型。文章核心涵盖从高质量数据集构建、Kohya's SS GUI环境配置、关键参数设置到模型测试与部署的全流程，帮助读者高效完成从数据准备到模型产出的个性化微调。
手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion（代码）
m0_62030579的博客
01-27 3872
手撕Diffusion系列 - 第十一期 - lora微调 - 基于Stable Diffusion（代码）
Stable Diffusion学习（LoRA微调）
m0_65803902的博客
03-23 2051
由于训练和推理都需要较大显存和算力，因此此后文章都围绕linux进行学习开发，便于大家花点小钱租个服务器就可以复现学习理解！（在这里许愿希望自己可以全部学完，立个flag！
最强文生图跨模态大模型：Stable Diffusion
不积跬步，无以至千里！
12-12 5520
一文带你了解文生图大模型 Stable Diffusion !
【Dive Into Stable Diffusion v3.5】1：开源项目正式发布——深入探索SDv3.5模型 LoRA / RLHF / DPO微调
https://github.com/Donvink，专注于计算机视觉、目标检测、目标跟踪等方向
03-19 1884
在人工智能和机器学习领域，生成模型的应用越来越广泛。Stable Diffusion 作为其中的佼佼者，因其强大的图像生成能力而备受关注。今天，我的开源项目 **Dive Into Stable Diffusion v3.5** 已经正式发布！这个项目旨在总结我在开发过程中所学到和用到的知识和工具，同时帮助其他开发者更好地理解和应用 Stable Diffusion v3.5 模型。目前，项目提供了多种微调和优化的方法，包括全量参数微调、LoRA、DreamBooth、RLHF和DPO训练等。
Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型
weixin_43056275的博客
03-25 6291
其中config_file.toml文件中的配置文件包含了sdxl_arguments，model_arguments，dataset_arguments，training_arguments，logging_arguments，sample_prompt_arguments，saving_arguments，optimizer_arguments以及additional_network_arguments九个个维度的参数信息。但是切记不能在多尺度增强的时候将图片的主体特征裁剪掉（比如人脸，建筑等）。
使用 Stable Diffusion XL 和 SDXL LoRA，ControlNet 生成图片
大模型
09-28 1671
Stable Diffusion XL 是由 Stability AI 创建的一种新的图片生成模型。和之前的 Stable Diffusion 1.5 模型相比它主要做了以下的优化或者增强：1）对于原有 Stable Diffusion 1.5 的 U-Net，VAE，CLIP Text Encode 做了改进；2）在原有模型基础上上增加了一个 Refiner 模型，通过 Refiner 模型来提升图片的精细程度；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值