Datawhale X 魔搭 AI夏令营第四期魔塔-AIGC文生图方向：Task03 进阶上分-实
目录一、工具初探一ComfyUI应用场景探索
1、初识ComfyUI
1.1 什么是ComfyUI
1.2 ComfyUI焦点模块
1.3 ComfyUI图片生成流程
1.4 ComfyUI的优势
2、安装ComfyUI
2.1 我们选择利用阿里云的免费GPU算力体验来体验ComfyUI（如果有小伙伴还不熟悉怎样白嫖免费算力请看这篇文章哦）
2.2 实行完成baseline后得到该文件
2.3 进行安装ComfyUI（大约10min）
2.4 进入预览界面
3、浅尝ComfyUI工作流
3.1 不带Lora的工作流样例
3.2 带Lora的工作流样例
二、Lora微调
1、Lora简介
1.1 Lora微调的原理
1.2 Lora微调的优势
2、Lora详解
2.1 Task2中的的微调代码
2.2 参数详情表
2.3 UNet、VAE和文本编码器的协作关系
三、怎样预备一个高质量的数据集
1、明确你的需求和目标
2、数据集泉源整理
附录：
一、工具初探一ComfyUI应用场景探索
1、初识ComfyUI
1.1 什么是ComfyUI
GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简朴来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。
ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于利用图像的生成技能，ComfyUI 的特殊之处在于它接纳了一种模块化的筹划，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，如许用户就可以根据必要定制本身的图像生成过程。
1 万字体系分析ComfyUI | Stable Diffusion：GUI全盘点 | ComfyUI体系性教程原理篇04 | Ai+修建_哔哩哔哩_bilibilihttps://i-blog.csdnimg.cn/blog_migrate/003a2ce7eb50c2e24a8c624c260c5930.pnghttps://www.bilibili.com/video/BV1ch4y1B7vp/?spm_id_from=333.1350.jump_directly&vd_source=92088448a470e0d59af5b2f6771ff796
1.2 ComfyUI焦点模块
焦点模块由模型加载器、提示词管理器、采样器、解码器。
该部分详情大家可以查看视频哦
2.2ComfyUI应用场景探索_哔哩哔哩_bilibili资料链接：https://www.modelscope.cn/headlines/article/537?from=blibli_video, 视频播放量 397、弹幕量 0、点赞数 11、投硬币枚数 5、收藏人数 18、转发人数 3, 视频作者 ModelScope官方账号, 作者简介 让模型应用更简朴！，相关视频：Gradio应用搭建实践，探访KnowLM团队：基于大模型探索知识图谱抽取新边界，B端登录场景、主视觉结果 · Figma · Vector to 3D插件教程，大模型微调实践：动手微调一个好玩/好用的大模型，Mobile-Agent：多模态手机警能体技能剖析与应用，Agent应用开发实践，LLM实战训练营-第一课：大模型基础知识，5.4构建多模态手机警能体Mobile-Agent，6.3Gradio应用搭建实践，Multi-Agent最新开源希望分享https://i-blog.csdnimg.cn/blog_migrate/003a2ce7eb50c2e24a8c624c260c5930.pnghttps://www.bilibili.com/video/BV1nT421k7Fa/?spm_id_from=333.1350.jump_directly
1.3 ComfyUI图片生成流程
https://i-blog.csdnimg.cn/direct/d53c6d76f1bf44b0bef44a61baa5ecc7.png
1.4 ComfyUI的优势
模块化和灵活性：ComfyUI 提供了一个模块化的体系，用户可以通过拖放差别的模块来构建复杂的工作流程。这种灵活性允许用户根据本身的需求自由组合和调解模型、输入、输出、和其他处理步骤。
可视化界面：ComfyUI 提供了直观的图形界面，使得用户可以大概更清晰地理解和利用复杂的 AI 模型和数据流。这对没有编程背景的用户特殊有帮助，使他们可以大概轻松构建和管理工作流程。
多模型支持：ComfyUI 支持多个差别的生成模型，用户可以在同一平台上集成和切换利用差别的模型，从而实现更广泛的应用场景。
调试和优化：通过其可视化界面，ComfyUI 使得调试生成过程变得更简朴。用户可以轻松地追踪数据流，识别并办理问题，从而优化生成结果。
开放和可扩展：ComfyUI 是一个开源项目，具有高度的可扩展性。开发者可以根据必要编写新的模块或插件，扩展体系功能，并根据项目需求进行定制。
用户友好性：尽管其功能强盛，但 ComfyUI 仍然保持了用户友好性，即使对于复杂任务，也能以相对简朴的方式完成，使其成为生成式 AI 工作流程管理的有力工具。
2、安装ComfyUI
2.1 我们选择利用阿里云的免费GPU算力体验来体验ComfyUI（如果有小伙伴还不熟悉怎样白嫖免费算力请看这篇文章哦）
https://i-blog.csdnimg.cn/direct/38cc2c49d2034322b16d1a68fcc74e94.png
2.2 实行完成baseline后得到该文件
https://i-blog.csdnimg.cn/direct/6b6d9bef8e3e4287bf94a074c2e2e836.png
我们进入到这个界面后实行下面的代码（实行该部分代码前首先必要跑通baseline哦）
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/ 运行后我们就会看到出现一个新的代码文件并双击打开
https://i-blog.csdnimg.cn/direct/310a588a1e574ddbbba739bb16ac1b67.png
2.3 进行安装ComfyUI（大约10min）
https://i-blog.csdnimg.cn/direct/57e53cc1ea254425b2dcf4015a21fb88.png
2.4 进入预览界面
https://i-blog.csdnimg.cn/direct/bcb1fa9c94854627b2587bcc08be53f1.png
直接点击大概复制到浏览器中打开即可
（如果链接访问白屏，大概报错，就等一会儿再访问重试，程序大概没有正常启动完毕）
然后呢我们就来到了如下界面
https://i-blog.csdnimg.cn/direct/754e864eb2b3415b825933c0fe28d7c2.png
BUT 还必要继续往下才可以生成图片哦，万万不可半途而废
3、浅尝ComfyUI工作流
3.1 不带Lora的工作流样例
https://i-blog.csdnimg.cn/direct/00024f2f54934731b0f20f767925a0b4.png
首先我们必要点击右侧的LOAD导入上述文件
https://i-blog.csdnimg.cn/direct/4d2466069f944eba9ddcbd7238df0fcc.png
然后依次修改正向、反向提示词，末了点击运行即可
3.2 带Lora的工作流样例
https://i-blog.csdnimg.cn/direct/04017e24d25041bebc79e8f819570bd8.png
同样的利用步骤
https://i-blog.csdnimg.cn/direct/b3b25844369947a8be929a8d0db9400b.png
二、Lora微调
1、Lora简介
LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技能。它可以通过高效且灵活的方式实现模型的个性化调解，使其可以大概顺应特定的任务或领域，同时保持精良的泛化本领和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关紧张。
1.1 Lora微调的原理
LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被筹划成具有较低维度的参数空间，如许它们就可以在不改变模型整体布局的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。
详细可以参考下面视频，对Lora的原理讲的比力平凡易懂。
平凡易懂理解全量微调和LoRA微调_哔哩哔哩_bilibili平凡易懂理解全量微调和LoRA微调, 视频播放量 34032、弹幕量 36、点赞数 1519、投硬币枚数 680、收藏人数 2786、转发人数 253, 视频作者 AI老兵文哲, 作者简介 AI老兵文哲-技能科普，相关视频：Qwen2-7B-微调-训练-评估，大模型项目选择RAG还是微调：八个判断依据，作者亲自讲解：LoRA 是什么？，平凡易懂理解自注意力机制（Self-Attention），LoRA是什么？| 5分钟讲清晰LoRA的工作原理，【李宏毅】2024年公认最好的【LLM大模型】教程！大模型入门到进阶，一套全办理！2024生成式人工智慧-附带课件代码，【贪心2024】最新大模型微调开发训练营，RAG增强检索是怎样工作的？，第二十课：MoE，LoRA_01_算法原理深入剖析-上集https://i-blog.csdnimg.cn/blog_migrate/003a2ce7eb50c2e24a8c624c260c5930.pnghttps://www.bilibili.com/video/BV1tthPeFEWb/?spm_id_from=333.1350.jump_directly
1.2 Lora微调的优势
快速顺应新任务：在特定领域有少量标注数据的情况下，也可以有效地对模型进行个性化调解，可以迅速顺应新的领域或特定任务。
保持泛化本领：LoRA通过微调模型的一部分，有助于保持模型在未见过的数据上的泛化本领，同时还能学习到特定任务的知识。
资源效率：LoRA旨在通过仅微调模型的部分权重，而不是整个模型，从而淘汰所需的计算资源和存储空间。
2、Lora详解
2.1 Task2中的的微调代码
（如果有小伙伴还对Task2不明确的可以看这篇文章哦）
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
--lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
--lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
--dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
--output_path ./models \ # 指定输出路径，用于保存模型
--max_epochs 1 \ # 设置最大训练轮数为 1
--center_crop \ # 启用中心裁剪，这通常用于图像预处理
--use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
--precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练 2.2 参数详情表
参数名称
参数值
阐明
pretrained_unet_path
models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors
指定预训练UNet模型的路径
pretrained_text_encoder_path
models/kolors/Kolors/text_encoder
指定预训练文本编码器的路径
pretrained_fp16_vae_path
models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors
指定预训练VAE模型的路径
lora_rank
16
设置LoRA的秩（rank），影响模型的复杂度和性能
lora_alpha
4
设置LoRA的alpha值，控制微调的强度
dataset_path
data/lora_dataset_processed
指定用于训练的数据集路径
output_path
./models
指定训练完成后保存模型的路径
max_epochs
1
设置最大训练轮数为1
center_crop
启用中央裁剪，用于图像预处理
use_gradient_checkpointing
启用梯度检查点，节省显存
precision
"16-mixed"
设置训练时的精度为混合16位精度（half precision）
2.3 UNet、VAE和文本编码器的协作关系
[*] UNet：负责根据输入的噪声和文本条件生成图像。在Stable Diffusion模型中，UNet接收由VAE编码器产生的噪声和文本编码器转换的文本向量作为输入，并预测去噪后的噪声，从而生成与文本描述相符的图像
[*] VAE：生成模型，用于将输入数据映射到潜在空间，并从中采样以生成新图像。在Stable Diffusion中，VAE编码器首先生成带有噪声的潜在表示，这些表示随后与文本条件一起输入到UNet中
[*] 文本编码器：将文本输入转换为模型可以理解的向量表示。在Stable Diffusion模型中，文本编码器利用CLIP模型将文本提示转换为向量，这些向量与VAE生成的噪声一起输入到UNet中，引导图像的生成过程
三、怎样预备一个高质量的数据集
1、明确你的需求和目标
[*] 关注应用场景：确定你的模型将被应用到什么样的场景中（例如，艺术风格转换、产品图像生成、医疗影像合成等）。
[*] 关注数据类型：你必要什么样的图片？比如是真实世界的照片还是合成图像？是好坏的还是彩色的？是高分辨率还是低分辨率？
[*] 关注数据量：考虑你的任务应该必要多少图片来支持训练和验证。
2、数据集泉源整理
以下渠道泉源均必要考虑合规性问题，请大家在利用数据集过程中谨慎选择。
泉源类型
推荐
公开的数据平台
魔搭社区内开放了近3000个数据集，涉及文本、图像、音频、视频和多模态等多种场景，左侧有标签栏帮助快速导览，大家可以看看有没有本身必要的数据集。https://i-blog.csdnimg.cn/direct/e0c0e0cb1726478f8d6a1b3fab8e616e.png
其他数据平台推荐：
[*] ImageNet：包含数百万张图片，广泛用于分类任务，也可以用于生成任务。
[*] Open Images：由Google维护，包含数万万张带有标签的图片。
[*] Flickr：特殊是Flickr30kK和Flickr8K数据集，常用于图像描述任务。
[*] CelebA：专注于人脸图像的数据集。
[*] LSUN (Large-scale Scene Understanding)：包含各种场景种别的大规模数据集。
利用API或爬虫获取
[*] 如果必要特定类型的内容，可以利用API从图库网站抓取图片，如Unsplash、Pexels等。
[*] 利用网络爬虫技能从互联网上抓取图片，但必要注意版权问题。
数据合成
利用现有的图形引擎（如Unity、Unreal Engine）或特定软件生成合成数据，这在训练某些类型的模型时非常有效。
最近Datawhale团结阿里云天池，做了一整套多模态大模型数据合成的学习，欢迎大家一起交流。从零入门多模态大模型数据合成
数据增强
对于较小的数据集，可以通过旋转、翻转、缩放、颜色变换等方式进行数据增强。
购买或定制
如果你的应用是特定领域的，比如医学影像、卫星图像等，建议从靠谱的渠道购买一些数据集。
ok！！！到这里呢本次夏令营AIGC-文生图方向的培训就要告一段落了，各位小伙伴们咱们下次见！！！有一些相关学习视频，作者就放到附录了，有必要的小伙伴自行学习哦，加油！！！
附录：
名称
链接地址
在魔搭利用ComfyUI，玩转AIGC！
https://modelscope.cn/headlines/article/429
ComfyUI的官方地址
https://github.com/comfyanonymous/ComfyUI
ComfyUI官方树模
https://comfyanonymous.github.io/ComfyUI_examples/
别人的基础工作流树模
https://github.com/cubiq/ComfyUI_Workflows
https://github.com/wyrde/wyrde-comfyui-workflows
工作流分享网站
https://comfyworkflows.com/
推荐一个比力好的comfyui的github仓库网站
https://github.com/ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHO?tab=readme-ov-file
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]