Datawhale Al夏令营 AIGC方向 task2

1、代码解读

1.1、安装 Data-Juicer 和 DiffSynth-Studio

1. # 安装 Data-Juicer 和 DiffSynth-Studio
2. !pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
3. !pip install -v -e data-juicer # 安装data-juicer
4. !pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
5. !pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
6. !pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

复制代码

• !pip install simple-aesthetics-predictor
  这条下令用于安装一个名为 simple-aesthetics-predictor 的Python包。这个包可能用于预测图像或其他对象的美学得分。
  
• !pip install -v -e data-juicer
  这条下令用于以“开发模式”（editable mode）安装一个名为 data-juicer 的Python包：-v (Verbose Mode):-v 选项启用了详细模式（verbose mode）。在详细模式下，pip 会输出更多的安装过程信息，包罗下载的文件、依赖关系剖析的详细信息、安装的步骤等等。这在调试安装题目时特别有效。-e (Editable Mode):在开发模式下，安装的包会链接到源代码所在的目次，而不是将包复制到 Python 的包目次中。这意味着你可以直接修改源代码，而不需要重新安装包。对开发者来说，这是非常方便的，由于它允许在开发过程中对包举行即时的修改和测试。-e 选项代表“editable mode”，即开发模式安装。
  
• !pip uninstall pytorch-lightning -y
  这条下令用于卸载 pytorch-lightning 包，并且使用 -y 标志自动确认卸载操纵，而无需手动确认。
  
• !pip install peft lightning pandas torchvision
  这条下令用于安装 peft、lightning（pytorch-lightning 的替代品或更新版本）、pandas（用于数据处置惩罚）和 torchvision（用于盘算机视觉使命的工具包）等Python包。
  PEFT 是 "arameter-Efficient Fine-Tuning" 的缩写。它是一个用于在有限盘算资源下高效微调大型预训练模型的技术。peft 通常用于大规模语言模型或其他深度学习模型的微调使命中，通过只微调模型的一部门参数来减少盘算成本和存储需求。
  微调预训练模型通常需要对模型的全部参数举行调整，这对大规模模型来说可能非常昂贵。peft 技术通过只微调一小部门参数（如增量权重或低秩体现），大大降低了盘算和存储开销。
  
• !pip install -e DiffSynth-Studio
  这条下令用于以开发模式安装 DiffSynth-Studio 包。如许可以在不重新安装的环境下，对 DiffSynth-Studio 的源代码举行更改。
  

1.2、从魔搭数据集中下载数据集

1. # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
2. from modelscope.msdatasets import MsDataset  #引入数据集模块msdatasets
3. ds = MsDataset.load(
4.     'AI-ModelScope/lowres_anime',
5.     subset_name='default',# 表示加载数据集的默认子集
6.     split='train',
7.     cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
8. ) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds

复制代码

1.3、天生数据

1. # 生成数据集
2. import json, os # 导入json和os模块
3. from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
4. from tqdm import tqdm # 导入tqdm进度条管理
5. os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
6. os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
7. with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
8.     for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
9.         image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
10.         image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
11.         metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
12.         f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
13.         f.write("\n")

复制代码

 1.4、配置data-juicer，并举行数据筛选过滤

1. # 配置data-juicer，并进行数据筛选过滤
2. # 配置过滤的规则
3. data_juicer_config = """
4. # global parameters
5. project_name: 'data-process' # 名称
6. dataset_path: './data/data-juicer/input/metadata.jsonl'  # 你前面生成的数据的索引文件
7. np: 4  # 线程数
9. text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
10. image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
11. image_special_token: '<__dj__image>'
13. export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件
15. # process schedule
16. # a list of several process operators with their arguments
17. # 过滤的规则
18. process:
19.     - image_shape_filter: # 图片尺寸过滤
20.         min_width: 1024 # 最小宽度1024
21.         min_height: 1024 # 最小高度1024
22.         any_or_all: any # 符合前面条件的图片才会被保留
23.     - image_aspect_ratio_filter: # 图片长宽比过滤
24.         min_ratio: 0.5 # 最小长宽比0.5
25.         max_ratio: 2.0 # 最大长宽比2.0
26.         any_or_all: any # 符合前面条件的图片才会被保留
27. """

复制代码

1.5、 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml

2. # 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
3. with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
4.     file.write(data_juicer_config.strip())
5. # data-juicer开始执行数据筛选
6. !dj-process --config data/data-juicer/data_juicer_config.yaml

复制代码

1.6、通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，天生数据集

1. # 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
2. import pandas as pd # 导入pandas
3. import os, json # 导入os和json
4. from PIL import Image # 导入Image
5. from tqdm import tqdm # 导入tqdm进度条管理
6. texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
7. os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
8. with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
9.     for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
10.         data = json.loads(data) # 将json字符串转换为对象
11.         text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
12.         texts.append(text) # 将图片的描述信息添加到texts列表中
13.         image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
14.         image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
15.         image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
16.         file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
17. data_frame = pd.DataFrame() # 创建空的DataFrame
18. data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
19. data_frame["text"] = texts # 将图片描述添加到data_frame中
20. data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
21. data_frame # 查看data_frame

复制代码

1.7、下载可图模型 from diffsynth import download_models

1. # 下载可图模型
2. from diffsynth import download_models # 导入download_models
3. download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
4. # DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
5. !python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h

复制代码

1.8、 执行可图Lora训练

1. # 执行可图Lora训练
2. import os
3. cmd = """
4. python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
5.   --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
6.   --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
7.   --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
8.   --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
9.   --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
10.   --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
11.   --output_path ./models \ # 指定输出路径，用于保存模型
12.   --max_epochs 1 \ # 设置最大训练轮数为 1
13.   --center_crop \ # 启用中心裁剪，这通常用于图像预处理
14.   --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
15.   --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
16. """.strip()
17. os.system(cmd) # 执行可图Lora训练

复制代码

1.9、加载lora微调后的模型

1. # 加载lora微调后的模型
2. from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
3. from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
4. import torch # 导入torch
5. # 加载LoRA配置并注入模型
6. def load_lora(model, lora_rank, lora_alpha, lora_path):
7.     lora_config = LoraConfig(
8.         r=lora_rank, # 设置LoRA的秩(rank)
9.         lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
10.         init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
11.         target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
12.     )
13.     model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
14.     state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
15.     model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
16.     return model # 返回注入LoRA后的模型
17. # 加载预训练模型
18. model_manager = ModelManager(
19.     torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
20.     device="cuda", # 指定使用GPU进行计算
21.     file_path_list=[
22.         "models/kolors/Kolors/text_encoder", # 文本编码器的路径
23.         "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
24.         "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
25.     ]
26. )
27. # 初始化图像生成管道
28. pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
29. # 加载并应用LoRA权重到UNet模型
30. pipe.unet = load_lora(
31.     pipe.unet,
32.     lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
33.     lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
34.     lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
35. )

复制代码

1.10、天生图像

1. # 生成图像
2. torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
3. image = pipe(
4.     prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
5.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
6.     cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
7.     num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
8.     height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
9. )
10. image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件

复制代码

1.11、图像拼接，展示总体拼接大图

1. # 图像拼接，展示总体拼接大图
2. import numpy as np  # 导入numpy库，用于处理数组和数值计算
3. from PIL import Image  # 导入PIL库中的Image模块，用于图像处理
4. images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]  # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
5. image = np.concatenate([  # 将四组图像在垂直方向上拼接
6.     np.concatenate(images[0:2], axis=1),  # 将第1组（images[0:2]）的两张图像在水平方向上拼接
7.     np.concatenate(images[2:4], axis=1),  # 将第2组（images[2:4]）的两张图像在水平方向上拼接
8.     np.concatenate(images[4:6], axis=1),  # 将第3组（images[4:6]）的两张图像在水平方向上拼接
9.     np.concatenate(images[6:8], axis=1),  # 将第4组（images[6:8]）的两张图像在水平方向上拼接
10. ], axis=0)  # 将四组拼接后的图像在垂直方向上拼接
11. image = Image.fromarray(image).resize((1024, 2048))  # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
12. image  # 输出最终生成的图像对象，用于显示图像

复制代码

2、Scepter：一站式天生编辑工具箱

2.1、概念

是与视觉天生模型相关的数据处置惩罚、模型训练、模型推理、模型分享的工具箱是一个连续进化的开源工具：
提供咒语书，体系默认支持百余种咒语。（咒语是一些内置好的指令或者是说一些指令模板）
提供SCEdit、Lora等微调算法组件，并支持微调模型组合推理等功能。
提供5种10个可控天生插件，支持如Canny、Hed、Depth等可控天生。开源LAR-Gen、StyleBooth等自研模型。
未来会连续提供图像编辑微调、文生视频微调、视频编辑等一系列能力。
2.2、数据管理

支持数据的管理、增删改查、图像预处置惩罚、自动打标等功能。
数据集创建：（1）本地图片上传 （2）文件链接导入 （3）数据zip包上传
数据预处置惩罚：（1）图片预处置惩罚 （2）图片描述天生 （3）图片增删导出
2.3、模型训练

支持使用创建的数据集举行微调来获取定制化模型。
训练参数:多个基模型可选: sdxl、sd2.1、sd1.5
微调方法:SCEdit系列、LORA系列
多分辨率训练
使命管理:异步训练使命、Tensorboard、训练日志、评测可视化
2.4、 模型管理和分享

2.5、模型使用

2.6、天生和编辑能力

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。