“Datawhale X 魔搭 AI夏令营” task3

（一）ComfyUI

ComfyUI 是一个基于扩散模型的AI绘画创作工具，扩散模型就是大家常说的 Stable Diffusioin，简称SD。

ComfyUI 使用工作流的方式，可定制性很强，可以让创作者们搞出各种新奇的玩意，也可以实现更高的自动化水平，创作方法更容易传播复现，发展势头特别迅猛。

不过 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列就会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。

到哪里使用 ComfyUI

安装 ComfyUI 的难处

ComfyUI 本身是一个开源软件，大家可以安装到自己的电脑上使用。

但是但是事情往往没有说起来这么简单：

• 首先你要通过Github来下载程序，后续还要下载大量的模型，这需要特殊网络设置；
• 然后你还要懂点电脑技术，需要执行一大堆的命令；
• 最后你还要有一个牛逼的Nvidia显卡，显存8G起步，越大越好。

前两个花点小钱就能解决，最后这个要求可是要花大价钱的，差不多的3090显卡就需要七八千，玩起来没压力的4090更需要1.5个W左右。

（二）什么是微调

什么是Lora微调

LoRA（Low-Rank Adaptation）微调是一种用于调整大型预训练模型的高效微调技术。这种方法主要针对如何在保持模型大部分参数固定的同时，通过引入少量可训练参数来调整模型以适应特定任务。

（三）LoRA微调

LoRA的好处：
        1、降低资源消耗：微调深度学习模型通常需要大量的计算资源，这可能既昂贵又耗时。LoRA在保持高性能的同时，降低了对资源的需求。

        2、更快的迭代：LoRA能够实现快速迭代，使得尝试不同的微调任务和快速适应模型变得更加容易。

        3、改进的迁移学习：LoRA增强了迁移学习的效果，因为带有LoRA适配器的模型可以用更少的数据进行微调。这在标签数据稀缺的情况下尤其有价值。

        4、广泛的应用性：LoRA具有通用性，可以应用于各种领域，包括自然语言处理、计算机视觉和语音识别等。

        5、更低的碳足迹：通过降低计算需求，LoRA有助于实现更绿色、更可持续的深度学习方法。

使用LoRA技术训练神经网络
我们的目标是使用LoRA技术训练一个神经网络，用于MNIST手写数字数据库的分类任务，并随后对该网络进行微调，以提升其在初始表现不佳的类别上的性能。

硬件要求
AMD Instinct GPU
软件环境
ROCm：ROCm是针对AMD GPU优化的开源机器学习平台。
PyTorch：PyTorch是广泛使用的深度学习框架，支持动态计算图。
tqdm：Python库，用于显示进度条，方便观察训练过程。
以下是一个简化的步骤指南，说明如何使用LoRA技术训练神经网络（注意：具体代码细节可能需要根据您的环境和PyTorch版本进行调整）：

准备数据集：
首先，您需要准备MNIST数据集。PyTorch提供了torchvision.datasets.MNIST来方便加载这个数据集。

定义模型：

选择一个预训练的神经网络模型，例如ResNet、Transformer等。为了简单起见，您可以选择一个轻量级的卷积神经网络（CNN）。
添加LoRA层：
        在模型的每个权重矩阵上添加LoRA层。这通常涉及在模型内部插入额外的可训练权重矩阵（如WA和WB），它们将用于生成对原始权重矩阵的低秩更新。

     4、初始化模型

        加载预训练的模型权重，并将LoRA层的权重初始化为0或小的随机值。

     5、设置训练循环

        使用PyTorch的数据加载器（DataLoader）和优化器（如SGD或Adam）来设置训练循环。确保在训练循环中同时更新原始模型的权重和LoRA层的权重。

     6、训练模型

        运行训练循环，通过反向传播和优化器步骤来更新权重。由于LoRA层的存在，大多数权重更新将仅应用于LoRA层，而不是整个模型。

     7、评估模型：

        在验证集上评估模型的性能，并根据需要调整超参数或继续训练。

     8、微调模型：

        如果模型在特定类别上表现不佳，可以使用LoRA技术仅对该类别进行微调。这通常涉及重新训练LoRA层（同时保持原始模型权重不变），使用仅针对该类别的数据。

     9、测试模型：

        在测试集上测试微调后的模型，以评估其性能改进。