Classifier-Free Guidance (CFG) Scale in Stable Diffusion
1.Classifier-Free Guidance Scale in Stable Diffusion条记泉源：
1.How does Stable Diffusion work?
2.Classifier-Free Diffusion Guidance
3.Guide to Stable Diffusion CFG scale (guidance scale) parameter
1.1 Classifier Guidance Scale
分类器引导是一种将图像标签归并到扩散模子中的方法。您可以使用标签(label)来引导扩散过程。比方，标签“猫”引导反向扩散过程来生成猫的照片
分类器引导标准 (CG Scale) 是控制扩散过程有多大程度遵循标签引导的参数
下面是论文Classifier-Free Diffusion Guidance中的一个例子
假设有 3 组图像（下图中的三个分布代表），标签为“猫”、“狗”和“人”
如果扩散是无引导的（如最左侧）模子抽取的样本有时它可能会抽取恰当两个标签的图像，比方一个男孩在抚摸一只狗
如果扩散是有引导的（如右侧三个）模子抽取的样本可能只会含有一个标签的图像，比方一只狗
在高分类器引导下，扩散模子生成的图像将方向极度或明确的图像。如果你要求模子生成一只猫，它只会返回一张明确是猫的图像，除此之外别无其他
https://i-blog.csdnimg.cn/direct/f36246b677674bdca5e2c4aab58d09d1.png#pic_center
尽管分类器引导取得了破纪录的性能，但它需要一个额外的模子来提供该引导，这给训练带来了一些困难，我们需要同时训练两个模子（Unet + Classifier）代价较大
https://i-blog.csdnimg.cn/direct/16cc8eaefd934a66ace07b8468d2f799.png#pic_center
1.2 Classifier-Free Guidance Scale
无分类器引导是实现“没有分类器的分类器引导”的一种方法。他们没有使用类标签和单独的模子举行引导，而是建议使用图像标题（caption）并训练条件扩散模子，就像我们在文本到图像中讨论的模子一样。
他们将分类器部分作为噪声猜测器 U-Net 的条件，实现了图像生成中所谓的“无分类器”（即没有单独的图像分类器）引导。也就是文本提示提供了文本到图像的引导。
将Classifier用文本替代后，参加Cross Attention使得文本与图像融合，从而我们只需训练一个模子（Unet）
https://i-blog.csdnimg.cn/direct/5d370ebe4b854417aca623d9073f4f8b.png#pic_center
无分类器引导标准（CFG Scale）是控制扩散过程有多大程度遵循文本引导的参数
当 CFG 比例设置为 0 时，图像生成是无条件的（即忽略提示）
当 CFG 比例设置过高时，文本会引导扩散朝向，图像越贴近给定文本，但这并不意味着该值应始终设置为最大值，因为更多的引导意味着更少的多样性和质量
text (caption) = “panda playing guitar”
https://i-blog.csdnimg.cn/direct/82c37365cbb34651a9fab12115d89b65.pngCFG=1 https://i-blog.csdnimg.cn/direct/6404015e7cee4fd085a84482f3c0e9ef.pngCFG=2 https://i-blog.csdnimg.cn/direct/0da0d1b4a4194e3bb1689d2808fdd42a.pngCFG=7 https://i-blog.csdnimg.cn/direct/b9a661be31f540dd9e83d6e9e3a1d9ba.pngCFG=10 https://i-blog.csdnimg.cn/direct/8e1b12fda3804e53ba9eb5a40df41817.pngCFG=15 https://i-blog.csdnimg.cn/direct/73b6b5d4fed341e6b52305ecb59cfe19.pngCFG=20 留意它在极度情况下的表现：
当CFG设置为1时，文本提示将被忽略。
当CFG设置为最大20时，但图像质量较差。
最具“创意”和“艺术性”的结果通常在 7-12 的引导范围内生成。但使用高达 15 的比例仍然会产生几乎没有伪影的结果。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]