【AI绘画】超详细!ComfyUI 全方位入门指南,初学者必看,附多个实践操纵 ...

打印 上一主题 下一主题

主题 1963|帖子 1963|积分 5889


本文正文字数约 8300 字,阅读时间 20 分钟。如果按照文章实操一遍,预计时间在半小时到两小时不等。
在上一篇文章中,我向大家先容了有关于 Stable Diffusion 的基本概览,同时也在文章里放置了一些相干的工具链接可以方便的使用 Stable Diffusion 天生图像。
但是在线天生器每每都有一些限制,有的还必要收费才气使用,以是为了可以大概更加全面深入地学习 Stable Diffusion,我还是推荐在自己电脑上自行搭建一套 GUI(也就是用户图形界面)来学习和使用 Stable Diffusion,也就是本文即将先容的 ComfyUI
本文将为你提供一份全面的 ComfyUI 入门指南,涵盖从 ComfyUI 的先容,到它的生图工作流程,再到实操。我将通过简朴的一些生图流程案例来向你先容 ComfyUI 中的各项操纵。
ComfyUI 官网:https://www.comfy.org/
目次



  • • ComfyUI 简介
  • • ComfyUI 的安装
  • • ComfyUI 工作流:文生图
  • • ComfyUI 的工作机制
  • • ComfyUI 工作流:图生图
  • • ComfyUI 各模子对比
  • • ComfyUI Inpainting
  • • ComfyUI Outpainting
  • • ComfyUI Upscale
  • • ComfyUI Manager
  • • ComfyUI Embeddings
  • • ComfyUI LoRA
  • • 总结
ComfyUI 简介

ComfyUI 是一个基于节点的 GUI,为 Stable Diffusion 提供了一种更加直观、灵活的方式来操纵和管理天生的过程。通过将不同的模块(也就是节点)组合在一起,我们可以构建一个图像天生的工作流。
ComfyUI vs. AUTOMATIC1111

AUTOMATIC1111 也是一款有着大量用户使用的 Web UI,那么它与 ComfyUI 的区别是什么呢?
相对于 AUTOMATIC1111 来说,使用 ComfyUI 有下面这些优势:


  • • 轻量化,运行速率更快
  • • 高度灵活可设置
  • • 数据流清楚可见
  • • 每个文件都是可复现的工作流,便于分享
不过,ComfyUI 的学习曲线相对于 AUTOMATIC1111 来说要更为陡峭,必要更多的耐心和探索。
   AUTOMATIC1111 官方 GitHub:https://github.com/AUTOMATIC1111/stable-diffusion-webui,这里有关于 AUTOMATIC1111 的安装和使用教程。
  ComfyUI 的安装

关于 ComfyUI 的安装,可以直接参考官方文档:https://docs.comfy.org/get_started/pre_package。
Windows 用户可以直接访问上面的链接来下载安装包举行安装,但是 Mac 或者 Linux 用户必要参考手动安装教程:https://docs.comfy.org/get_started/manual_install。
   手动安装 ComfyUI 必要你对命令行有所相识。
  下载模子

ComfyUI 安装包里并没有包含模子文件,以是如果必要使用它来生图,必要我们自行下载模子文件并放置到 ComfyUI 的安装目次里。

模子可以到官网自行下载,不会操纵的小伙伴可以扫码按需领取我打包好的,无偿分享:

我选择的是 stable-diffusion-3-medium 这个模子,统共巨细在 50G 左右。

我这里也分享一下我下载模子的过程,究竟这中间也遇到了一些题目,我会在这里列举出主要的步骤,你可以按照我给出的步骤来下载大模子,如果遇到题目也接待留言。
如果你也遇到了 Error while deserializing header: HeaderTooLarge 这种类似的题目,那可能就是模子文件没下载对。
1、安装 `git-lfs`
由于模子文件都特别大,以是不能使用通例的 git 命令来下载,必要安装 git-lfs,具体可以参考官方的安装说明:https://git-lfs.com/。
2、到 HuggingFace 上添加 SSH Key 或者 Access Token
3、开始下载模子
颠末前两个步骤之后,现在就可以开始下载模子了。
我们第一步可以先下载模子的文件指针,这些文件就很小,通常只有一两百 kb。
  1. GIT_LFS_SKIP_SMUDGE=1 git clone git@hf.co:stabilityai/stable-diffusion-3-medium
复制代码
随后,再实行下面这个命令就可以了,这一步根据你的网络情况耗费的时间可能会或长或短:
  1. git lfs pull
复制代码
4、将模子文件放入 ComfyUI 的安装目次
找到模子目次里的 .ckpt 或者 .safetensors 文件,将其放入 ComfyUI 目次下的 models/checkpoints 目次下就可以了。
要学习 ComfyUI,最好的方式就是直接通过案例来练习。以是我们将从最简朴的文生图工作流程开始。
ComfyUI 工作流:文生图

成功运行 ComfyUI 之后,按照其默认设置,在电脑浏览器上打开 http://127.0.0.1:8188/ 应该就能看到下面这样的界面。

界面上的节点和整个画布都可以拖动,也可以放大缩小。
ComfyUI 为我们提供了一个默认的文生图工作流。直接点击右边的 Queue Prompt 就可以大概触发生图流程,你可以看到有个绿色的边框会随着流程的进展在不同的节点上表现。
整个工作流由两个基本的部分组成:节点(Nodes)和边(Edges)


  • • 每一个矩形块就是一个节点,比如 Load Checkpoint CLIP Text Encoder 等。可以把每个节点看成是函数,它们都具有输入输出参数三个属性。
  • • 连接每个节点的输入和输出的线就是边。
其他还有很多的细节和概念,我将会在接下来的内容中逐步解释。
我们直接从这个默认工作流开始,它包含了下面这些步骤。
1、选择模子

起首必要在 Load Checkpoint 这个节点中选择一个模子,这里的模子选项就是在上文中下载的那些模子文件。比如我这里就放置了多个可选的模子,我可以根据自己的需求选择我想要使用的模子。

2、构造提示语

选择完模子,下一步就是构造提示语了。
在界面上,有两个 CLIP Text Encode (Prompt) 节点,这两个节点都是用来构造我们的提示语的。
此中,上面一个节点用来输入正向提示语(Positive Prompt),即告诉模子做什么,而下面一个节点则用来输入负面提示语(Negative Prompt),即告诉模子不要做什么
如果觉得轻易混淆,可以像我这样直接双击节点名称改成它对应的功能的名称,就像下面这样。

当然,其实从图上节点之间的连接方式也能看出来哪一个是正向哪一个是负向的。

CLIP Text Encode 节点的作用是将提示语转换为标志,然后通过文本编码器将它们处理为嵌入(Embeddings)
   关于向量嵌入的先容,可以参考:谈一谈向量嵌入(Vector Embeddings)
  你可以使用 (关键词:权重) 的这样的语法来控制关键词的权重。
比如,使用 (keyword:1.2) 来增强效果,或 (keyword:0.8) 来削弱效果。
3、天生图像

点击右边的 Queue Prompt,等待一会儿就可以大概看到有一张图像天生完成了。

ComfyUI 的工作机制


   这一个章节涉及一些 ComfyUI 底层的工作机制,如果不想看可以直接跳过。
  ComfyUI 的强盛之处就在于它的高度可设置性。认识每个节点的功能之后可以让我们轻易地根据需求来定制化操纵。
在先容图生图工作流之前,我必要先向你详细先容一下 ComfyUI 的工作机制。
Stable Diffusion 的生图过程可以总结为以下三个主要步骤:


    • 文本编码:用户输入的提示语通过一个称为文本编码器(Text Encoder) 的组件编译成各个单词的特征向量。这一步将文本转换为模子可以明确和处理的格式;


    • 潜伏空间(Latent space)转换:来自文本编码器的特征向量与一个随机噪声图像一起被转换到潜伏空间。在这个空间中,随机图像根据特征向量举行去噪处理,得到一个中间产物。这一步生图过程的是关键地点,由于模子会在这里学习将文本特征与视觉表现相联系。


    • 图像解码:末了,潜伏空间中的中间产物由图像解码器(Image Decoder) 举行解码,转换为我们可以看到的实际图像。

   潜伏空间(Latent Space) 是呆板学习和深度学习中用于表示高维复杂数据的一个低维空间。它是对数据的一种压缩和抽象,可以明确为对原始数据(如图像、文本等)的简化表示。
  相识了 Stable Diffusion 层面的生图流程之后,接下来我们深入相识一下 ComfyUI 在实现这个过程中的关键组件和节点。
Load Checkpoint 节点


Load Checkpoint 节点会加载一个模子,一个 Stable Diffusion 模子主要包含以下三个部分:
MODEL

MODEL 组件是一个在潜伏空间(Latent Space)中运行的噪声猜测模子。
这句话的意思是 Stable Diffusion 模子在潜伏空间中对图像的天生过程举行建模,并通过猜测和去除噪声逐渐还原图像的过程。
具体来说就是,在 Stable Diffusion 中,图像天生起首在潜伏空间中引入随机噪声,然后模子通过一系列步骤逐渐去除这些噪声,天生符合提示语的图像。
这种逐步去噪的过程由噪声猜测模子来完成。潜伏空间是图像的一个简化、高度抽象化的表示,可以降低模子的计算复杂度,可以让模子在天生图像时更高效。
在 ComfyUI 中,Load Checkpoint 节点的 MODEL 输出连接到 KSampler 节点,KSampler 节点实行反向扩散过程。
KSampler 节点使用 MODEL 在潜伏表示中举行迭代去噪,逐步优化图像,直到它符合给定的提示语。
CLIP (Contrastive Language-Image Pre-training)

CLIP 其实是一个负责预处理用户提供的正向和负面提示语的语言模子。它将文本提示转换为 MODEL 可以明确的格式,引导图像天生过程。
在 ComfyUI 中,Load Checkpoint 节点的 CLIP 输出连接到 CLIP Text Encode 节点。CLIP Text Encode 节点获取用户提供的提示语,并将它们输入到 CLIP 语言模子中,转换为向量嵌入。
这些向量嵌入可以捕捉单词的语义,为 MODEL 天生符合提示语的图像提供更多的引导。
VAE (Variational AutoEncoder)

VAE 负责在像素空间和潜伏空间之间转换图像。
它包含一个编码器和一个解码器,此中,编码器用于将图像压缩为低维的潜伏表示,而解码器用于从潜伏表示中重建图像。
在文生图的过程中,VAE 仅在末了一步使用,它的作用就是将天生的图像从潜伏空间转换回像素空间。
ComfyUI 中的 VAE Decode 节点获取 KSampler 节点的输出,并使用 VAE 的解码器部分将潜伏表示转换为终极的像素空间图像。
VAECLIP 语言模子是独立的组件。CLIP 主要处理文本提示语,而 VAE 负责在像素空间和潜伏空间之间举行转换。
   关于潜伏空间和像素空间的区别,可以明确为像素空间是图像的可见表现形式,而潜伏空间是对图像举行内部操纵和处理的一种简化表示。Stable Diffusion 在潜伏空间中天生图像,再通过 VAE 将其转换回像素空间,然后获得终极的图像。
  到现在为止,我只先容了整个工作流中的第一个节点,接下来我会继承先容后续的节点。
CLIP Text Encode 节点


在上文中有提到,在 CLIP Text Encode 节点中我们可以输入天生图像的提示语,而这个节点的作用就是获取我们提供的提示语,并将其输入到 CLIP 语言模子中。
CLIP 是一个强盛的语言模子,可以大概明确单词的语义并将其与视觉概念相干联。当提示语输入到 CLIP Text Encode 节点后,它会将每个单词转换为向量嵌入。向量嵌入是高维的数字表示,包含了单词的语义信息,模子可以大概根据这些信息天生符合提示语的图像。
Empty Latent Image 节点


在 ComfyUI 的文生图的过程中,它起首会在潜伏空间中天生一个随机图像,这个图像会作为模子处理的初始状态,它的巨细与实际像素空间中的图像尺寸成比例。
在 ComfyUI 中,我们可以调解潜伏图像的高度和宽度来控制天生图像的巨细。此外,我们还可以设置批处理巨细来确定每次运行天生的图像数量(batch_size)。
潜伏图像的最佳尺寸取决于所使用的 Stable Diffusion 模子版本。
对于 v1.5 模子,推荐的尺寸是 512x512 或 768x768;对于 SDXL 模子,最佳尺寸是 1024x1024。ComfyUI 提供了多种常见的宽高比可供选择,但是必要注意的是,潜伏图像的宽度和高度必须是 8 的倍数,这样才气确保与模子架构的兼容性。
VAE 节点


在界面中我们能看到 Load Checkpoint 节点的 VAE 属性就直接连接到了 VAE 节点。以是,这里的 VAE 节点其实就是上文中所提到的负责在像素空间和潜伏空间之间转换图像的 VAE。
在此不再赘述。
KSampler 节点


在 ComfyUI 中,生图过程的核心节点就是 KSampler 节点。它负责在潜伏空间中对随机图像举行去噪,让天生的图像符合我们提供的提示语。
KSampler 使用的是一种称为反向扩散的技能,可以迭代地去除噪声,并根据 CLIP 向量嵌入添加有意义的细节。
   反向扩散技能(Reverse Diffusion ) 就是从随机噪声中通过逐步去噪的方式天生图像的过程。模子使用这个技能,可以通过明确和还原图像的特征,将随机噪声转化为清楚、符合提示语的图像。
  KSampler 节点提供了多个参数,让我们可以微调图像的天生过程:
Seed

Seed 值控制了初始噪声和终极图像的构图。设置特定的 Seed 值,我们可以获得可重复的结果,可以保持多次天生的同等性。
Control_after_generate

这个参数决定了每次天生后 Seed 值的变化方式,可以设置为随机化(每次运行天生新的随机 Seed)、递增、递减或者固定稳定。
Step

采样步数决定了优化过程的强度。如果设置步数较大,则会产生更少的伪影和更精致的图像,但也会增加天生时间。
Sampler_name

这个参数用于选择 KSampler 所使用的特定采样算法。不同的采样算法可能会产生略有不同的结果,且天生速率也会有所不同。
Scheduler

这个参数用于控制在去噪过程中的每一步中噪声水平的变化速率,它决定了从潜伏表示中去除噪声的速率。
Denoise

这个参数用于设置去噪过程应消除的初始噪声量。值为 1 表示去除所有噪声,从而天生干净且细节丰富的图像。
通过调解这些参数,我们可以微调图像的天生过程,从而获得理想的图像。
至此,我花了大量篇幅向你先容了 ComfyUI 中的所有节点以及其对应的功能,希望到现在为止可以大概帮助你对 ComfyUI 有一个较为全面的认知和明确。
接下来我将继承先容 ComfyUI 的图生图工作流
ComfyUI 工作流:图生图

要在 ComfyUI 中使用图生图的工作流,我们必要先创建一个上传图像的节点,也就是 Load Image 节点。
在画布空白处点击右键,依次选择 Add Node > image > Load Image 就可以创建一个 Load Image 节点。

   也可以直接双击空白处然后输入 Load Image 搜刮即可。
  然后,还必要创建一个 VAE Encode 节点,同时删除 Empty Latent Image 节点。

依然是在画布空白处点击右键,依次选择 Add Node > latent > VAE Encode 就可以创建一个 VAE Encode 节点。
随后,将 Load Checkpoint 节点的 VAE 属性连接到 VAE Encode 节点的 vae 属性,将 Load Image 节点的 IMAGE 属性连接到 VAE Encode 节点的 pixels 属性,末了,将 VAE Encode 节点的 LATENT 属性连接到 KSampler 节点的 latent_image 属性即可。
具体可以参考下图。

这里我给出的例子是,将一张实拍的美食图转换为动漫风格,当然由于并没有举行微调,以是效果现在还只能算是迁就。

输入图像

输出图像
具体的参数设置可以参考下表:
参数发起设置Prompt“anime style, vibrant colors, clean lines”Denoise0.7Steps20 - 40Sampler_nameeuler分辨率768x768   注意,在图生图的工作流中,输入图像只管保持与输出图像的分辨率同等,也不要使用过高的分辨率,直接使用对应模子的默认分辨率(参考下一章节)即可,过高的分辨率在天生图像的时候有可能会报错。
  Stable Diffusion 各模子对比

截至 2024 年 9 月,Stable Diffusion 已经发展出多个主要版本,包罗 v1、v2、v3 和 SDXL。每个版本都有独特的改进与变化,具体对比可以参考下表:
|
| v1 | v2 | v3 | SDXL |
| — | — | — | — | — |
| 发布时间 | 2022 年 8 月 | 2022 年 11 月 | 2024 年 5 月 | 2023 年 7 月 |
| 默认分辨率 | 512 * 512 | 768 * 768 | 1024 * 1024 | 1024 * 1024+ |
| 文本编码器 | CLIP | OpenCLIP | 最新版 OpenCLIP | 升级版多模态 CLIP |
| 模子本事 | 底子图像天生 | 更准确、更丰富细节 | 高细节、多模态输入 | 高分辨率、多功能性 |
| 练习数据 | LAION-5B | 更大多样化数据集 | 更多高质量数据集 | 超大规模、多样化 |
| 特色 | 底子框架 | 提升细节与安全性 | 更真实、更自然 | 开始进、高分辨率 |
相对于现在常见的 2k,4k 以致 8k 分辨率来说,现在 Stable Diffusion 的分辨率可能不见得有多高,但是在天生式 AI 领域,这样的分辨率已经具有一定的代表性了,它牵涉到了天生图像的复杂性、速率和计算资源等多方面因素。
默认的分辨率已经能表现相当多的细节,特别是对许多艺术创作、插画、头像等用途来说,这个分辨率足以表现丰富的视觉元素。而且,由于 Stable Diffusion 是天生式模子,可以通过后续处理(如放大、补细节)来获得更高的分辨率。
ComfyUI Inpainting

相对于文生图和图生图工作流,我们可以来看看更复杂的工作流,也就是修复画作(Inpainting)
Inpainting 可以用于替换或编辑图像中的特定区域,比如去除缺陷和伪影,以致用全新的内容替换某个区域,它依赖于遮罩来确定图像中必要添补的区域。
我们可以直接延用上一步图生图中的工作流,然后按照下面的步骤来操纵:

  • 1. 在 Load Image 节点中上传想要修复的图像,右键单击选择 Open in MaskEditor;

  • 2. 在图像上对想要重新天生的区域设置遮罩,也就是用鼠标画阴影;

  • 3. 随后点击 Save to node 即可;
  • 4. 双击出现搜刮框,输入 Set Latent Noise Mask 选择创建一个节点;
  • 5. 重新创建连接:
  • 1. 将 Load Image 节点的 MASK 属性连接到 Set Latent Noise Mask 节点的 mask 属性;
  • 2. 同时,修改 VAE 节点的 LATENT 连接到 Set Latent Noise Mask 节点的 samples 属性;
  • 3. 将 Set Latent Noise Mask 节点的 LATENT 属性连接到 KSampler 节点的 latent_image 属性;
  • 6. 界说修复过程,也就是在 CLIP Text Encode 节点中输入提示语信息来引导修复画作的方向;
  • 7. 设置 denoise 参数,比如我们设置 0.6;
  • 8. 末了点击 Queue Prompt 即可。
具体连接可参考下图。


ComfyUI Outpainting

Outpainting 是一种将图像扩展到其原始边界之外的技能,可以让我们在保留原始图像的同时,添加、替换或修改此中的视觉元素。
基于 Inpainting 的工作流,我们必要对其修改一下,然后可以按照以下的步骤来在 ComfyUI 中使用 Outpainting。

  • 1. 在工作流中添加 Pad Image for Outpainting 节点和 VAE Encode(for Inpainting) 节点,删除 Set Latent Noise Mask 和 VAE Encode 节点;
  • 2. 重新创建连接:
  • 1. 将 Load Checkpoint 节点的 VAE 属性连接到 VAE Encode(for Inpainting) 节点的 vae 属性;
  • 2. 将 Load Image 节点的 IMAGE 属性连接到 Pad Image for Outpainting 节点的 image 属性;
  • 3. 将 Pad Image for Outpainting 节点的 IMAGE 属性连接到 VAE Encode(for Inpainting) 节点的 pixels 属性;
  • 4. 将 Pad Image for Outpainting 节点的 MASK 属性连接到 VAE Encode(for Inpainting) 节点的 mask 属性;
  • 5. 将 VAE Encode(for Inpainting) 节点的 LATENT 属性连接到 KSampler 节点的 latent_image 属性;

    • Pad Image for Outpainting 节点设置:


    • left top right bottom 分别表示每个方向上扩展的像素数;


    • feathering:调解原始图像和扩展区域之间的过度平滑度;

  • 4. 在 CLIP Text Encode 节点设置提示语;
  • 5. 微调 VAE Encode (for Inpainting) 节点,可以通过调解 grow_mask_by 参数来控制 Outpainting 的蒙版巨细,这里推荐设置大于 10 的数值;
  • 6. 点击 Queue Prompt 即可天生图像。
具体连接和参数设置可以参考下图。



输入图像

输出图像
Outpainting 工作流也是一个比较复杂的工作流,必要多次微调可能才会得到理想的效果。
ComfyUI Upscale

Upscale,也就是图像放大
在 ComfyUI 里,有两种主要的方式:


    • 像素放大(Upscale Pixel):直接对可见图像举行放大;


    • 潜伏空间放大(Upscale Latent)

像素放大(Upscale Pixel)

对于像素放大,也有两种方式:


  • • 使用算法来放大图像,这种方式速率快,但是效果可能没有模子好
  • • 使用模子来放大图像,这种方式的效果可能会更好,但是速率会更慢
使用算法放大图像

如果要在 ComfyUI 中使用算法放大图像,则必要添加一个 Upscale Image By 节点,具体的连接方式和设置可参考下图:

此中,upscale_method 指的就是算法,而 scale_by 指的就是放大的倍率,我这里设置的是 2,也就是放大两倍。
我的原始图像巨细为 998 * 998,放大后的图像分辨率为 1996 * 1996。

使用模子放大图像

在本文中,我接纳的 Upscale 模子是 4x-Ultrasharp,可以在此处下载并使用:https://civitai.com/models/116225/4x-ultrasharp。
下载之后,可以放到 ComfyUI 安装目次的 models/upscale_models 目次下。
要使用模子放大图像,就必要添加 Load Upscale Model 和 Upscale Image (using Model) 节点,具体连接方式可参考下图:

潜伏空间放大(Upscale Latent)

潜伏空间放大也称为 Hi-res Latent Fix Upscale
潜伏空间放大的工作流比较复杂,但是简化明确就是,通过文生图的工作流拿到图像之后再对图像举行放大,这个过程直接在潜伏空间中举行。
这里还涉及下载 VAE Model,比如可以使用:https://huggingface.co/stabilityai/sd-vae-ft-mse。下载完成之后放入 ComfyUI 的安装目次下的 models/vae 目次中即可。
具体流程可参考下图或者直接加载我给的工作流。


像素放大 vs. 潜伏空间放大

这两种放大方式的区别如下:


  • 像素放大:仅对图像举行放大,不会添加新的信息。天生速率相对来说比较快,但可能出现模糊效果,缺乏细节。
  • 潜伏空间放大:不仅放大了图像,还改变了部分原始图像信息,丰富了细节。可能与原始图像有偏差,天生速率相对较慢。
ComfyUI Manager

ComfyUI Manager 是一个提升 ComfyUI 可用性的扩展。它提供诸如安装、移除、禁用和启用各种 ComfyUI 自界说节点的功能。此外,ComfyUI Manager 还提供了一个集成中央和便捷功能,让我们可以大概在 ComfyUI 内轻松访问各种信息。
什么是自界说节点?

由于 ComfyUI 基于节点架构运作,此中界面元素被表示为相互连接的节点。每个节点都封装了特定的功能或举动,从而实现模块化和可扩展的界面开发。为了扩展 ComfyUI 的功能,开发者可以根据项目需求创建自界说节点。
   在这里可以查看到所有的节点信息:https://ltdrdata.github.io/
  安装

关于 ComfyUI Manager 的安装,可直接参考:https://github.com/ltdrdata/ComfyUI-Manager。
安装好了之后,重启 ComfyUI,就可以看到界面多了一个 Manager 按钮,点击就会出现下面这样的窗口。


   关于自界说节点的使用示例,我将会结合下一章节来一起解说。
  ComfyUI Embeddings

这里的 Embeddings 又称为文本反演(Textual Inversion),其实和向量嵌入(Vector Embeddings) 本质上是相同的概念。在 ComfyUI 中,Embeddings 也是一种向量表示,可以用来捕捉和存储特定风格、概念或者视觉特征的信息。
当我们在天生图像的时候使用这些 Embeddings,模子可以根据这些特征来调解图像的天生过程,产生特定的视觉效果。
要在 ComfyUI 中使用 Embeddings,只必要在提示语的输入框里输入以下这样的语法即可:
  1. embedding: [Embedding 名称]
复制代码
比如我们输入:
  1. embedding: Disney
复制代码
那么,ComfyUI 会到安装目次的 models/embeddings 目次下寻找名为 Disney 的 Embedding 文文件,如果找到了,就会把对应的视觉风格应用到图像上。
   可以直接到 https://civitai.com/ 网站上搜刮喜好的 Embedding 模子。
  Embedding 名称主动补全

如果有多个 Embeddings,在输入的时候就不太方便了,以是,这时候就可以通过自界说节点来提高我们的输入服从。
点击 Manager 打开 ComfyUI Manager 窗口,在窗口上点击 Custom Nodes Manager,然后搜刮 ComfyUI-Custom-Scripts,点击 Install 安装后重启 ComfyUI 即可。


可以看到当我再次输入 embedding 的时候,下方就会有提示了。由于我现在只放置了一个 Embedding 文件,以是提示列表中也只有一个。

Embedding 权重

本质上来说,Embedding 也是关键词,以是也可以像调解提示语中的平常关键词那样来针对 Embedding 调解权重,只必要输入下面这样的语法即可:
  1. (embedding: v4mpcity:1.2)
复制代码


ComfyUI LoRA

LoRA(Low-rank Adaptation),称为低秩适应,可以用来修改和微调 Load Checkpoint 模子。
它自己是一个小型模子文件,常见的用例包罗为模子添加特定风格的天生本事,或者更好地天生某些特定主题或动作。多个 LoRA 可以连接在一起来进一步调解模子。
LoRA 只会修改 MODEL 和 CLIP 组件,不会影响 VAE,以是 LoRA 不会改变图像的整体结构。
如何使用

要在 ComfyUI 中使用 LoRA,我们必要新添加一个 Load LoRA 节点,连接方式如下图所示。


LoRA 天生效果示例
同时,必要下载对应的 LoRA 模子,也可以直接前往 https://civitai.com/ 网站上下载。
多个 LoRA 的使用方式与单个的类似,只必要按照次序连接起来即可。
写在末了

感爱好的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。


AIGC技能的将来发展远景广阔,随着人工智能技能的不绝发展,AIGC技能也将不绝提高。将来,AIGC技能将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技能也将与人工智能技能精密结合,在更多的领域得到广泛应用,对步伐员来说影响至关告急。将来,AIGC技能将继承得到提高,同时也将与人工智能技能精密结合,在更多的领域得到广泛应用。


一、AIGC所有方向的学习路线
AIGC所有方向的技能点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。


二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!

三、最新AIGC学习条记
当我学到一定底子,有自己的明确本事的时候,会去阅读一些前辈整理的册本或者手写的条记资料,这些条记详细记载了他们对一些技能点的明确,这些明确是比较独到,可以学到不一样的思路。


四、AIGC视频教程合集
观看全面零底子学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从底子到深入,还是很轻易入门的。

五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才气将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。


若有侵权,请联系删除

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

河曲智叟

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表