媒介
就本身学习过程对于Datawhale AI的夏令营第四期魔搭-AIGC文生图方向，做了个低级版教程，供小白参考，后期有机会也会通过本身的学习总结相关知识教程，等待和各人一起相互学习，共同进步！
正文
第一步：报名到场赛事！
点击赛事链接：
：天池平台，提交队伍名称+联系方式
登录后直接报名即可！
报名赛事！(点击即可跳转)
赛事链接：https://tianchi.aliyun.com/competition/entrance/532254
第二步：方法1；启动魔塔Notebook！(注意是GPU环境)
链接：链接：https://www.modelscope.cn/my/mynotebook/authorization
方法2；可使用魔搭的免费Notebook实例
第三步：跑通baseline
我们首先粘贴下令然后回车执行，这样就可以得到baseline文件，必要等待一段时间。
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git
拉取baseline后，可以在右侧文件中看到kolor文件夹，双击进入可以看到后缀.ipyhb的baseline文件，点击打开。
接下来执行运行环境的代码块，我们必要安装 Data-Juicer 和 DiffSynth-Studio
Data-Juicer：数据处理惩罚和转换工具，旨在简化数据的提取、转换和加载过程
DiffSynth-Studio：高效微调训练大模型工具
有些时候由于网络及署理的问题，环境的安装轻易罅漏，发起多执行几次，代码不会重复安装
安装完成后，重启kernel，不重启轻易爆显存影响baseline运行
接下来我们继续依次执行下载数据集、数据处理惩罚
最后我们加载我们所微调的模型并举行输出
from diffsynth import ModelManager, SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model
import torch
def load_lora(model, lora_rank, lora_alpha, lora_path):
lora_config = LoraConfig(
r=lora_rank,
lora_alpha=lora_alpha,
init_lora_weights="gaussian",
target_modules=["to_q", "to_k", "to_v", "to_out"],
)
model = inject_adapter_in_model(lora_config, model)
state_dict = torch.load(lora_path, map_location="cpu")
model.load_state_dict(state_dict, strict=False)
return model
# Load models
model_manager = ModelManager(torch_dtype=torch.float16, device="cuda",
file_path_list=[
"models/kolors/Kolors/text_encoder",
"models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors",
"models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors"
])
pipe = SDXLImagePipeline.from_model_manager(model_manager)
# Load LoRA
pipe.unet = load_lora(
pipe.unet,
lora_rank=16, # This parameter should be consistent with that in your training script.
lora_alpha=2.0, # lora_alpha can control the weight of LoRA.
lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt"
)
调整prompt，设置你想要的图片风格，依次修改8张图片的描述
正向描述词：你想要天生的图片应该包含的内容
反向提示词：你不希望天生的图片的内容
提示词也有一些讲究，比如优质的提示词、提示词的排序（越靠前的提示词影响比重越大）、提示词书写策略、Embedding 模型介入。这些对出图结果也同样重要。
下面的代码块按照功能主要分成这几类
- 使用Data-Juicer处理惩罚数据，整理训练数据文件
- 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件举行训练微调
- 加载训练微调后的模型
- 使用微调后的模型，天生用户指定的prompt提示词的图片
到这里，微调训练和模型出图已经全部完成。
微调结果上传魔搭
链接：https://www.modelscope.cn/models/create
- 移动结果文件
创建terminal，粘贴如下下令，回车执行
[code][/code] mkdir /mnt/workspace/kolors/output & cd cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/ cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/
- 下载结果文件
双击进入output文件夹，分别下载两个文件到本地
创建并上传模型所需内容 点击魔搭链接，创建模型，中文名称发起格式：队伍名称-Kolors-xxxxx最后，提交打卡就结束了！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
