Datawhale X 魔搭 AI夏令营第四期 Task01

相关概念了解

Lora

Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

ComfyUI

ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。在ComfyUI平台的前端页面上，用户可以基于节点/流程图的界面设计并执行AIGC文生图或者文生视频的pipeline。

参考图控制

ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型（如Stable Diffusion模型）上的可训练神经网络模块。扩散模型通常用于从随机噪声逐渐生成图像的过程，而ControlNet的作用在于引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。

0基础速通

要点解析速通

Step0:开通阿里云PAI-DSW试用

点击进入阿里云官网

• 开通免费试用
  
• 在魔塔社区进行授权
  点击进入魔塔社区
  
  若为新用户，需要提前注册魔塔账号，并绑定阿里云账号

Step1：报名赛事

点击进行赛事报名

Step2：在魔塔社区创建PAI实例

点击进入魔塔社区


如果之前试用的额度已经过期，可使用魔搭的免费Notebook实例

Step3：体验一站式 baseline

1，下载baseline文件（大约需要2分钟）

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

2， 进入文件夹，打开baseline文件

3，安装环境，然后重启kernel

如果运行缓慢。可以检查自己的网络连接状态

3， 安装环境，然后重启kernel

     安装 Data-Juicer 和 DiffSynth-Studio
     Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程
     DiffSynth-Studio：高效微调训练大模型工具

后面的包找不到，大概率是这里没重启

4，调整prompt，设置你想要的图片风格，依次修改8张图片的描述

 正向描述词：你想要生成的图片应该包含的内容
 反向提示词：你不希望生成的图片的内容

5， 依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片（大约需要20分钟）
点击一键运行即可

Step4：微调结果上传魔搭

点击跳转即可
1，移动结果文件
创建terminal，粘贴如下命令，回车执行

mkdir /mnt/workspace/kolors/output & cd 
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

2，下载结果文件
将两个文件下载到本地

3，创建并上传模型所需内容
点击魔塔社区创建模型

以上做完，就算是创建完成并发布在创空间讨论区了

Step5：关闭实例

关闭实例
运行完成后别忘了回到魔搭，关闭实例，否则会一直消耗你的试用额度！
（每小时消耗大概7个试用额度）