【Datawhale X 魔搭 AI夏令营第四期-AIGC方向】 Task2条记：baseline精读& ...

一、媒介

通过task1的学习我成功跑通了baseline，对baseline的代码也有了一个根本的理解。此次task2则是通过向通义千问提问，对代码各模块作用举行大体认识以及逐行解析baseline代码，使我对其有一个更加细致的理解，同时学习如何借助AI来提升我们的自学习能力。
Datawhale的官方速通文档：Datawhale (linklearner.com)
本篇文章基于task2官方文档和day2直播内容举行归纳总结。‬​​​‬​​​⁠​​‍‍‍‍‌⁠​‬⁠​​‬​​‬​​‍​​​​‍⁠‌​‬‍​‍​​
 二、AI辅助精读代码

Step1 ：注册通义千问

官方链接：https://tongyi.aliyun.com/qianwen/
点击登录，输入手机号使用验证码登录，第一次使用则会主动注册账号

注册成功后即可向其提问

Step2：输入问题

使用角色扮演的方式提问
你是一个良好的python开发工程师，如今我们需要你帮我们逐行分析这个代码，用中文回复我的问题。{此处替换baseline代码}
返回效果：

对此中更详细的过程中若有不懂的地方可以继承追问，比如：

Step3：代码分块逐行解析

下图是baseline代码的框架结构，可以更直观的看懂和理解

代码逐行分析：
安装 Data-Juicer 和 DiffSynth-Studio：

1. !pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
2. !pip install -v -e data-juicer # 安装data-juicer
3. !pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
4. !pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
5. !pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

复制代码

从魔搭数据会合下载数据集AI-ModelScope/lowres_anime：

1. from modelscope.msdatasets import MsDataset  #引入数据集模块msdatasets
2. ds = MsDataset.load(
3.     'AI-ModelScope/lowres_anime',
4.     subset_name='default',
5.     split='train',
6.     cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录

复制代码

生成数据集：

1. import json, os # 导入json和os模块
2. from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
3. from tqdm import tqdm # 导入tqdm进度条管理
4. os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
5. os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
6. with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
7.     for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
8.         image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
9.         image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
10.         metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
11.         f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
12.         f.write("\n")

复制代码

配置data-juicer，并举行数据筛选过滤：

1. data_juicer_config = """
2. # global parameters
3. project_name: 'data-process' # 名称
4. dataset_path: './data/data-juicer/input/metadata.jsonl'  # 你前面生成的数据的索引文件
5. np: 4  # 线程数
7. text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
8. image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
9. image_special_token: '<__dj__image>'
11. export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件
13. # process schedule
14. # a list of several process operators with their arguments
15. # 过滤的规则
16. process:
17.     - image_shape_filter: # 图片尺寸过滤
18.         min_width: 1024 # 最小宽度1024
19.         min_height: 1024 # 最小高度1024
20.         any_or_all: any # 符合前面条件的图片才会被保留
21.     - image_aspect_ratio_filter: # 图片长宽比过滤
22.         min_ratio: 0.5 # 最小长宽比0.5
23.         max_ratio: 2.0 # 最大长宽比2.0
24.         any_or_all: any # 符合前面条件的图片才会被保留
25. """

复制代码

原过滤配置过于苛刻，我修改了配置（最小高度和最小宽度为100）末了有1400多张图片可供训练。
保存data-juicer配置到data/data-juicer/data_juicer_config.yaml：

1. with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
2.     file.write(data_juicer_config.strip())
3. # data-juicer开始执行数据筛选
4. !dj-process --config data/data-juicer/data_juicer_config.yaml

复制代码

通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集：

1. import pandas as pd # 导入pandas
2. import os, json # 导入os和json
3. from PIL import Image # 导入Image
4. from tqdm import tqdm # 导入tqdm进度条管理
5. texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
6. os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
7. with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
8.     for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
9.         data = json.loads(data) # 将json字符串转换为对象
10.         text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
11.         texts.append(text) # 将图片的描述信息添加到texts列表中
12.         image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
13.         image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
14.         image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
15.         file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
16. data_frame = pd.DataFrame() # 创建空的DataFrame
17. data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
18. data_frame["text"] = texts # 将图片描述添加到data_frame中
19. data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
20. data_frame # 查看data_frame

复制代码

下载可图模子：

1. from diffsynth import download_models # 导入download_models
2. download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
3. # DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
4. !python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h

复制代码

执行可图Lora训练：

1. import os
2. cmd = """
3. python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
4.   --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
5.   --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
6.   --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
7.   --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
8.   --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
9.   --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
10.   --output_path ./models \ # 指定输出路径，用于保存模型
11.   --max_epochs 1 \ # 设置最大训练轮数为 1
12.   --center_crop \ # 启用中心裁剪，这通常用于图像预处理
13.   --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
14.   --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
15. """.strip()
16. os.system(cmd) # 执行可图Lora训练

复制代码

加载lora微调后的模子：

1. from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
2. from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
3. import torch # 导入torch
4. # 加载LoRA配置并注入模型
5. def load_lora(model, lora_rank, lora_alpha, lora_path):
6.     lora_config = LoraConfig(
7.         r=lora_rank, # 设置LoRA的秩(rank)
8.         lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
9.         init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
10.         target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
11.     )
12.     model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
13.     state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
14.     model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
15.     return model # 返回注入LoRA后的模型
16. # 加载预训练模型
17. model_manager = ModelManager(
18.     torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
19.     device="cuda", # 指定使用GPU进行计算
20.     file_path_list=[
21.         "models/kolors/Kolors/text_encoder", # 文本编码器的路径
22.         "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
23.         "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
24.     ]
25. )
26. # 初始化图像生成管道
27. pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
28. # 加载并应用LoRA权重到UNet模型
29. pipe.unet = load_lora(
30.     pipe.unet,
31.     lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
32.     lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
33.     lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
34. )

复制代码

生成图像：

1. torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
2. image = pipe(
3.     prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
4.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
5.     cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
6.     num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
7.     height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
8. )
9. image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件

复制代码

以此类推，再重复七次，修改提示词生成八张不同的图片。
图像拼接，展示总体拼接大图：

1. import numpy as np  # 导入numpy库，用于处理数组和数值计算
2. from PIL import Image  # 导入PIL库中的Image模块，用于图像处理
3. images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]  # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
4. image = np.concatenate([  # 将四组图像在垂直方向上拼接
5.     np.concatenate(images[0:2], axis=1),  # 将第1组（images[0:2]）的两张图像在水平方向上拼接
6.     np.concatenate(images[2:4], axis=1),  # 将第2组（images[2:4]）的两张图像在水平方向上拼接
7.     np.concatenate(images[4:6], axis=1),  # 将第3组（images[4:6]）的两张图像在水平方向上拼接
8.     np.concatenate(images[6:8], axis=1),  # 将第4组（images[6:8]）的两张图像在水平方向上拼接
9. ], axis=0)  # 将四组拼接后的图像在垂直方向上拼接
10. image = Image.fromarray(image).resize((1024, 2048))  # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
11. image  # 输出最终生成的图像对象，用于显示图像

复制代码

但是我个人更喜欢横向排版，于是更改为以下代码：

1. import numpy as np
2. from PIL import Image
5. images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]
6. image = np.concatenate([
7.     np.concatenate(images[0:4], axis=1),
8.     np.concatenate(images[4:8], axis=1),
9. ], axis=0)
10. image = Image.fromarray(image).resize((2048, 1024))
11. image

复制代码

三：实战演练

数据准备阶段，同样可以借助通义千问，通过角色扮演的方式将故事转化为提示词
（故事纯属虚构，与实际无关）

自己在通义的返回的底子上，打磨出最佳的提示词

图片编号	场景描述	正向提示词	反向提示词
图片1	女主是一名警员，按部就班的做着自己的工作，日子过的很压抑	二次元，一个女生，玄色头发，两根直辫子，浅紫色瞳孔，全身，坐在警局内，神情担心，穿着玄色日式警服，低着头正在查看文件，配景是繁忙的办公环境	貌寝、变形、嘈杂、模糊、低对比度、3D、照片、逼真、麻花辫、人物看向镜头、断手
图片2	有一天她看到了男主的通缉令，回想起自己门生期间的往事	二次元，侧脸，一个女生，玄色头发，两根马尾辫，浅紫色瞳孔，穿着日式警服，女生看向白板，凝重，白板上贴着很多带有端正人像通缉令，此中一张是米黄色男生头像	近景、貌寝、变形、嘈杂、模糊、低对比度、3D、逼真、单马尾、看向镜头、正脸、字符、文字
图片3	门生期间的女主没办法融入班级，没有朋侪，本来应该一直是独自一人	二次元，一个女生，玄色头发，两根马尾辫，浅紫色瞳孔，穿着白色高中生校服，孤独地一个人坐在教室座位上，低着头，表情担心，眼睛看着桌子，背后几个同砚站着围在交头接耳，教室环境描画	貌寝、变形、嘈杂、模糊、低对比度、3D、照片、逼真、人物看向镜头、仰面
图片4	直到一个男生出现，他主动与女主搭话，一直关心女主，使女主慢慢喜欢上了男主	二次元，一个女生，玄色头发，两根马尾辫，浅紫色瞳孔，坐在教室座位上，女生座位旁边站着一男生，浅黄色头发，穿着白色高中生校服，快乐地攀谈，微笑对视	看向镜头、貌寝、变形、嘈杂、模糊、低对比度、3D、照片、逼真、男生坐着
图片5	回想竣事，接到逮捕关照的女主来到现场，看到男主正在和警员争论	二次元，一个穿着白色衬衫的浅黄色头发的男生社畜，一个穿着玄色警服的黑发男性警员，两个人辩论，神情告急，现代街道，远景	角色看向镜头、多余的人、近景、貌寝、变形、嘈杂、模糊、低对比度、3D、照片、逼真
图片6	女主决定不按规矩行事，于是拉着男主逃跑	二次元，一个玄色头发的女生，双马尾、浅紫色瞳孔、穿着玄色警员礼服，一个浅黄头发男生，穿着白色衬衫，两个人牵动手逃跑、配景中有一个腿部中枪倒下的警员、配景是现代街道	一样的衣服、变形的眼睛、貌寝、变形、嘈杂、模糊、低对比度、3D、照片、逼真
图片7	两人来到了谁也不会发现的海边，靠在一起聊了很多。男主是被冤枉的，但是也无法反抗	二次元，一个玄色头发的女生，双马尾、浅紫色瞳孔、穿着玄色警员礼服，一个浅黄头发男生，穿着白色衬衫，两个人坐在海边的乱石上，依偎在一起，神色悲伤，看着大海，远景，夜晚，配景是星空和海浪	近景，角色看向镜头，貌寝、变形、嘈杂、模糊、低对比度、3D、照片、逼真度
图片8	对未来失去盼望的两人，永久地甜睡了	古风，水墨画，一个玄色长发少女，坐在教室里，盯着黑板，认真上课，上半身，红色长裙	貌寝，变形，嘈杂，模糊，低对比度

代码截图：

生成效果图：

四、总结

这次任务最主要的收获就是懂了torch.manual_seed()对画面的作用，对画面效果不满意则更改此中的数字举行“抽奖”直到效果满意为止。尚有自由度cfg_scale的影响，在“二次元”词条下我个人以为cfg_scale=2时画风最符合。
过程中还发现一些别的问题，如果在生成图片但还没生成完成的过程中停止代码运行的话，会爆显存，只能重启内核后重新加载模子。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。