Datewhale×魔搭 AI夏令营第四期 AIGC方向Task3条记
·Part1 ComfyUI1.ComfyUI简介：
GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简朴来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。
ComfyUI 是GUI的一种，是基于节点工作的用户界面，重要用于操作图像的天生技能，ComfyUI 的特殊之处在于它采用了一种模块化的设计，把图像天生的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，如许用户就可以根据需要定制自己的图像天生过程。
2.ComfyUI核心模块
核心模块由模型加载器、提示词管理器、采样器、解码器。
模型加载器：模型加载器：Load Checkpoint用于加载底子的模型文件，包含了Model、CLIP、VAE三部https://i-blog.csdnimg.cn/direct/90b780ad2a27409b8bda7225a6ca74c5.png
CLIP模块：将文本范例的输入变为模型可以理解的latent space embedding作为模型的输入
https://i-blog.csdnimg.cn/direct/2ba71fad3604494bb16f599f79d22985.png
解码器：VAE模块的作用是将Latent space中的embedding解码为像素级别的图像
https://i-blog.csdnimg.cn/direct/7c8bb77d05d44f43871a624fbda4ecb6.png
采样器：用于控制模型天生图像，不同的采样取值会影响终极输出图像的质量和多样性。采样器可以调节天生过程的速度和质量之间的均衡。
https://i-blog.csdnimg.cn/direct/1364519ec8d840e2ac99437a4d977709.png
3.ComfyUI图片天生流程
https://i-blog.csdnimg.cn/direct/ce2cea0b19454bc891b1fe1f29236d62.png
4.ComfyUI的优势
模块化和机动性、可视化界面、多模型支持、调试和优化、开放和可扩展性、用户友好性
5.ComfyUI实操
不带Lora的工作流样例https://i-blog.csdnimg.cn/direct/349e70e264cb4dd3a37e1168ade48622.png
带Lora的工作流样例
https://i-blog.csdnimg.cn/direct/5f8fba5ef29a4422b38c73b4d7f3c8be.png
·Part2：Lora微调
1.Lora简介
LoRA (Low-Rank Adaptation) 微调是一种用于在预练习模型上进行高效微调的技能。它可以通过高效且机动的方式实现模型的个性化调解，使其能够适应特定的使命或领域，同时保持良好的泛化能力和较低的资源斲丧。这对于推动大规模预练习模型的现实应用至关重要。
2.Lora微调的原理
LoRA通过在预练习模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，如许它们就可以在不改变模型整体布局的情况下进行微调。在练习过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部门权重保持稳定。
3.Lora微调的优势
快速适应新使命：在特定领域有少量标注数据的情况下，也可以有用地对模型进行个性化调解，可以敏捷适应新的领域或特定使命。
保持泛化能力：LoRA通过微调模型的一部门，有助于保持模型在未见过的数据上的泛化能力，同时还能学习到特定使命的知识。
资源服从：LoRA旨在通过仅微调模型的部门权重，而不是整个模型，从而减少所需的盘算资源和存储空间。
4.UNet、VAE和文本编码器的协作关系
UNet：负责根据输入的噪声和文本条件天生图像。在Stable Diffusion模型中，UNet接收由VAE编码器产生的噪声和文本编码器转换的文本向量作为输入，并猜测去噪后的噪声，从而天生与文本描述符合的图像
VAE：天生模型，用于将输入数据映射到潜在空间，并从中采样以天生新图像。在Stable Diffusion中，VAE编码器起首天生带有噪声的潜在表现，这些表现随后与文本条件一起输入到UNet中
文本编码器：将文本输入转换为模型可以理解的向量表现。在Stable Diffusion模型中，文本编码器利用CLIP模型将文本提示转换为向量，这些向量与VAE天生的噪声一起输入到UNet中，指导图像的天生过程
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]