AI 绘画Stable Diffusion 研究(八)sd采样方法详解

打印 上一主题 下一主题

主题 492|帖子 492|积分 1476

大家好,我是风雨无阻。

本期内容:


  • 什么是采样方法 ?
  • 采样方法的分类有哪些?
  • 怎么选择符合的采样方法?

在 Stable Diffusion中目前已经有很多采样方法 ,差别的采样方法,出图效果差别。这里将详细先容这些采样方法,以及在利用 Stable Diffusion 的过程中,怎么选择符合的采样方法。
一、什么是采样方法 ?

在了解采样之前,我们得先了解 一下Stable Diffusion webui 是怎样工作的,建议看看我之前的AI 绘画Stable Diffusion 研究(七)sd webui怎样工作这篇文章。

我们知道 sd webui 生成图像,大致会经过以下过程:
1、为了生成图像, Stable Diffusion 会在潜在空间中生成一个完全随机的图像
2、噪声预测器会估算图像的噪声
3、噪声预测器从图像中减去预测的噪声
4、这个过程反复重复 N 次以后,会得到一个干净准确的图像
这个去噪的过程,就被称为采样。
采样中利用的方法被称为 Sampling method (采样方法或者是采样器)。

采样步骤 Sampling steps 有什么影响?
采样步骤,那么每个步骤降噪就越小 ,如许可以减少采样过程中的截断误差。

二、采样方法的分类
为了便于利用和理解,我们可以将这些采样方法进行分类:

(1)、经典ODE求解器
包罗:Euler \Heun \LMS。
Euler采样器:欧拉采样方法。
Heun采样器:欧拉的一个更准确但是较慢的版本。
LMS采样器:线性多步法,与欧拉采样器速度相仿,但是更准确。

(2)、祖先采样器 (名称中有一个字母 a 的)
包罗 :Euler a \ DPM2 a \DPM++2S a \DPM2 a Karras \DPM++2S a Karras

这些采样器会在每个采样步骤中,向图像添加噪声,因此具有肯定的随机性。
注意:部分采样器的名字中虽然没有明白标识属于祖先采样器,但也属于随机采样器。


(3)、DDIM、PLMS(已过时,不再利用)


  • DDIM :去噪扩散隐式模子, 是为扩散模子计划的第一个采样器。
  • PLMS:伪线性多步方法, 则是DDIM 更快速的替代品 。
当前这两种采样方法都不再广泛利用。

(4)、DPM 和 DPM++ 系列
DPM 和 DPM++ 体系结构的求解器系列, 是2022年发布的用于扩散模子的新采样器 ,它们具有相似的结构。
DPM的缺点:由于DPM会自适应调整步长,不能保证在约定的采样步骤内完成使命,整体速度可能会比较慢。
DPM的优点:对Tag的利用率较高,在利用时建议适当放大采样的步骤数以得到较好的效果。

DPM++ 是对DPM 的改进,接纳二阶方法,其效果更准确,但是相应的也会更慢一些。



(5)、UniPC采样器
这UniPC采样器是2023年发布的新采样器,根据 ode 求解器中预测校正方法的启发,可在5-10步内实现高质量图像生成。

(6)、K-diffusion 采样器
当前常用的采样器中,除了DDIM、PLMS与UniPC之外的采样器均来自于k-diffusion, 通常这些采样器都带有 Karras 字样。


了解了以上采样器的分类,相信大家对选择采样器,已经可以缩小选择的范围了。

三、采样器方法详解

接下来我们根据 Stable Diffusion WebUI 中采样器的次序,对每个采样器进行详细先容。

1、Euler a
祖先采样器的一种 , 雷同于 Euler ,但在每个步骤中它会减去比“应该”更多的噪声。并添加一些随机噪声以匹配噪声操持。去噪图像取决于前面步骤中添加的特定噪声。

2、Euler
最简朴的采样器,在采样过程中不添加随机噪声,通过噪声操持告诉采样器,每个步骤中应该有多少噪声。并利用欧拉方法减少恰当数量的噪声。以匹配噪声操持,直到最后一步为0 为止。

3、LMS 解决常微分方程的标准方法
LMS采样速度与Euler 雷同 。

4、Heum
Heum 是对Euler 更准确的改进,但是需要在每个步骤中预测两次噪声。
因此速度比Euler 慢2倍。

5、DPM2
dpm2 是Katherine Crowson在K-diffusion项目中自创的 ,灵感泉源Karras论文中的DPM-Solver-2和算法2 ,受采样器设置页面中的 sigma参数影响。

6、DPM2 a
祖先采样器的一种,利用 DPM2 方法 ,受采样器设置中的ETA参数影响 。

7、DPM++2S a
随机采样器一种
在K-diffusion实现的2阶单步并受采样器设置中的ETA参数影响。

8、 DPM++2M
在Kdiffusion实现的2阶多步采样方法,在Hagging face Diffusers中被称作已知最强调度器。在速度和质量的平衡最好。这个代表m的多步比上面的s单步,在采样时会参考更多步,而非当前步,所以能提供更好的质量,但是也更复杂。

9、 DPM++SDE
DPM++的SDE版本,DPM++ 本来是0DE 求解器及常微分方程在Ktifusion实现的版本,代码中调用了随机采样方法,所以受采样器设置中的ETA参数影响。

10、 DPM fast
在Ktifusion实现的固定步长采样方法 ,用于steps小于20的情况。受采样器设置中的ETA参数影响。

11、 DPM adaptive
在K-diffusion 实现的自适应步长采样方法,DPM-Solver-12 和23,受采样器设置中的ETA参数影响。

12、带有Karras字样的6种采样器
LMS karras 、DPM2 karras 、DPM2 a karras 、DPM++ 2S a karras 、DPM++2M karras、DPM++ SDE karras 、DPM++2M SDE karras
这些含有Karras名字的采样方法 都是相称于 Karras噪声时间表的版本。

13 、DDIM
官方采样器之一,利用去噪后的图像来近似终极图像,并利用噪声预测器估计的噪声,来近似图像方向。

14、PLMS
官方采样器之一,PLMS则是DDIM的新版且更快速的替代品。

15、unipc
最新添加的采样器,应该是目前最快最新的采样方法,10步内实现高质量图像。

四、怎么选择符合的采样方法?

以下是我的建议:


  • 如果想快速生成质量不错的图片,建议选择 DPM++ 2M Karras (20 -30步) 、UNIPC (15-25步)
  • 如果想要高质量的图,不关心重现性,建议选择 DPM++ SDE Karras (10-15步 较慢) ,DDIM(10-15步 较快)
  • 如果想要简朴的图,建议选择 Euler, Heun(可以减少步骤以节省时间)
  • 如果想要稳固可重现的图像,请避免选择任何祖先采样器(名字里面带a或SDE)
  • 相反,如果想要每次生成不一样的图像,可以选择不收敛的祖先采样器(名字里面带a或SDE)


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

涛声依旧在

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表