Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task 1笔记

引言

本笔记可以作为学习手册的扩充版本，也是一份快速上手的指南。灰色的备注部分包含了关于步骤的详细解释和扩展内容，建议你可以先跳过这些备注，等完成所有步骤后再回头查阅。

第一步：搭建代码环境

1.1 申请阿里云PAI-DSW

阿里云PAI-DSW（Data Science Workshop）是一个云端开发工具平台，相当于你租用了一台功能强大的远程主机。这台“主机”配备了所需的一切工具和资源，用于创建和训练AI模型，无需担心自己电脑的性能是否足够。

在本次比赛中，PAI-DSW的作用包括：

• 模型训练：利用PAI-DSW的计算能力训练LoRA模型，生成各种风格的图片。
• 项目管理：在PAI-DSW上管理项目文件和数据，包括代码存放及模型和输出的存储。

首先，我们需要进入阿里云PAI-DSW官网，领取5000算力时，并为接下来的环境搭建做准备。

具体操作步骤：

1. 点击任意红色箭头指向的蓝色链接，进入阿里云免费试用页面。
2. 弹出窗口后，使用支付宝扫码并点击授权。
3. 返回原窗口，再次点击“立即试用”，勾选同意，点击“立即试用”。
4. 显示授权成功页面后即可关闭该网页。
   由于我之前已经使用完了，这里就直接使用魔塔社区的notebook
   记得显存要选24GB的，16GB的版本会爆显存

1.2 授权魔搭社区

魔搭社区（ModelScope）是阿里云推出的AI模型开源社区，提供模型体验、下载、调优、训练、推理和部署的一站式服务。它涵盖了多模态和多领域的AI模型和数据集，为你提供创建和管理项目的便利。

魔搭社区的作用包括：

• 创建PAI实例：在魔搭社区中创建PAI实例，设置工作环境。
• Notebook功能支持：与阿里云合作提供的Notebook功能，方便代码编写和模型训练。
• 上传和分享模型：将训练好的LoRA模型上传到魔搭社区，与评委和其他参赛者分享。
• 发布作品：在魔搭社区的讨论区发布8图故事作品，展示图像风格和故事情节。

接下来，我们需要绑定阿里云PAI-DSW。

具体操作步骤：

1. 点击任意红色箭头指向的蓝色链接，进入魔搭社区页面。
2. 如果未登录，点击“登录/注册”，完成后返回教程。
3. 点击“去授权”，复制UID后点击“去授权”。
4. 同意授权并粘贴UID，点击“确定”。
   

1.3 报名参赛

本夏令营通过实时提交结果检验学习成果，比赛和夏令营紧密结合。

报名参加可图Kolors-LoRA风格故事挑战赛，该比赛旨在通过生成图片讲述连贯故事，培养AI实践能力。

具体操作步骤：

1. 点击阿里云天池大赛的赛制链接，完成报名。
2. 完成报名后关闭窗口，无需组建或加入团队。
   

1.4 创建PAI实例

PAI实例相当于操作系统中的账户，用于与系统交互。每个实例都有独立的工作空间和资源，不会互相干扰。

在本次比赛中，创建PAI实例的作用包括：

• 模型训练：利用PAI实例的计算资源训练LoRA模型，生成风格图片。
• 项目管理：在PAI实例中存储和管理项目文件，确保项目文件井井有条。
• 资源独立：确保比赛项目与其他项目互不干扰，后续可创建新实例进行不同项目的开发。

具体操作步骤：

1. 返回魔搭界面，点击“创建实例”。
2. 选择第二个选项，其他设置保持默认。
3. 滑动页面到底部，点击“下一步”，然后点击“创建实例”。
4. 等待2-3分钟，状态变为“运行中”后，点击右侧的“打开”按钮。
   

第二步：30分钟体验一站式Baseline

在这一步中，你不需要编写代码，只需按照步骤运行Baseline代码，就可以得到你的第一个结果。后续的学习将围绕理解、修改和优化代码来提升结果的质量。

2.1 下载赛题数据和Baseline

在阿里云PAI-DSW中，你需要通过终端（Terminal）执行一些命令，获取和准备必要的资源。以下命令的作用是处理大文件和下载数据集：

• git lfs install：安装并配置git lfs，处理大文件。
• git clone：从ModelScope远程仓库下载Kolors数据集和相关文件。

具体操作步骤：

1. 点击Terminal，输入以下命令并按Enter：

   git lfs install
   git clone https://www.modelscope.cn/datasets/maochase/kolors.git
   

2.2 进入Baseline

具体操作步骤：

1. 双击进入下载的文件夹。
2. 双击Baseline文件，打开进行下一步操作。
   

2.3 准备工作

安装Data-Juicer和DiffSynth-Studio是关键准备步骤。这两个工具分别负责数据处理和模型训练：

• Data-Juicer：简化数据的提取、转换和加载过程。
• DiffSynth-Studio：提供高效的训练环境，帮助你微调LoRA模型。

具体操作步骤：

1. 运行Baseline代码，等待约10分钟。
2. 点击“重启Kernel”按钮，腾出内存空间。
   

2.4 运行剩余Baseline

具体操作步骤：

1. 继续运行剩余的Baseline代码，等待约30分钟，直到完成模型训练和图像生成。

第三步：提交结果

3.1 准备提交文件

在终端中创建输出文件夹并复制生成的文件，准备提交。

具体操作步骤：

1. 返回Terminal，输入以下命令并按Enter：

   mkdir /mnt/workspace/kolors/output & cd 
   cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
   cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/
   

3.2 提交结果

具体操作步骤：

1. 双击output文件夹，保存其中的两个文件。
2. 填写标题和内容，上传文件，点击“创建”完成提交。

完成效果图
年轻的冒险家手握古老的地图，穿越茂密的森林，开始了一段充满未知的旅程。他深入森林，发现了奇异的生物，并最终在森林深处发现了一座被藤蔓覆盖的古老遗迹。冒险家进入遗迹，发现一扇通往地下密室的巨大石门，进入后发现了一个古老文明的宝藏和刻满神秘符文的石板。通过解读这些符文，冒险家揭示了一个掌握强大魔法的远古族群的真相。最后，带着对未来冒险的期待，他离开了遗迹，结束了这段神秘的旅程。