Stable Diffusion绘画 | LCM模型：实现秒出图
在过往，不管使用 SD 还是 MJ，生成一张图片起码要等上10秒。而现在，有了 LCM 技能的加持，已经能做到秒出图，甚至是实时出图。
LCM(潜空间同等性模型) 是由 清华大学信息科学技能研究院 研发的大模型，它最大的特点就是生成图片速度超等快，能在2-4步生成质量不错的图片。
安装部署
LoRA下载
Latent Consistency Model (LCM) LoRA: SDXL 下载链接：
https://huggingface.co/latent-consistency/lcm-lora-sdxl/tree/main
https://img-blog.csdnimg.cn/img_convert/058bfcb215583306b5a8204867e171a1.png
Latent Consistency Model (LCM) LoRA: SDv1-5 下载链接：
https://huggingface.co/latent-consistency/lcm-lora-sdv1-5/tree/main
https://img-blog.csdnimg.cn/img_convert/e41fa09f0580a9e04fe6c2928a6673fa.png
以上两个模型下载后，放置位置：SD安装目次\models\Lora\lcm
模型下载
目前唯一支持 SD webui 的LCM模型：LCM_Dreamshaper_v7
下载链接：https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7/tree/main
模型下载后，放置在：SD安装目次\models\Stable-diffusion
https://img-blog.csdnimg.cn/img_convert/8232971cf4640d3758597eb77fbbe1c5.png
sd-webui-lcm 插件
PS：LCM_Dreamshaper_v7 模型不能直接使用，需要搭配 sd-webui-lcm插件 使用。
下载链接：https://github.com/0xbitches/sd-webui-lcm
插件下载解压后，放置在：SD安装目次\extensions
https://img-blog.csdnimg.cn/img_convert/4e65c1141eb44d68866402dd7cf54a6c.png
修改代码
在 SD安装目次\modules 中找到 sd_samplers_extra.py 与 sd_samplers_kdiffusion.py 两个文件。
https://img-blog.csdnimg.cn/img_convert/8438aab5f1f1f7eb74c0d57b5a258415.png
在修改之前，切记要把这两个文件举行复制备份，以免改坏了还能还原返来。
sd_samplers_kdiffusion.py 修改：
在对应位置添加代码后保存：('LCM', sd_samplers_extra.sample_lcm, ['k_lcm'], {}),
https://img-blog.csdnimg.cn/img_convert/2042bc5a23e7017e8ae967ed34da2e4d.png
sd_samplers_extra.py 修改：
在如下位置添加代码后保存：
@torch.no_grad()
def sample_lcm(model, x, sigmas, extra_args=None, callback=None, disable=None, noise_sampler=None):
extra_args = {} if extra_args is None else extra_args
noise_sampler = k_diffusion.sampling.default_noise_sampler(x) if noise_sampler is None else noise_sampler
s_in = x.new_ones(])
for i in tqdm.auto.trange(len(sigmas) - 1, disable=disable):
denoised = model(x, sigmas * s_in, **extra_args)
if callback is not None:
callback({"x": x, "i": i, "sigma": sigmas, "sigma_hat": sigmas, "denoised": denoised})
x = denoised
if sigmas > 0:
x += sigmas * noise_sampler(sigmas, sigmas)
return x
https://img-blog.csdnimg.cn/img_convert/8f054626c58dee8d131464b48a7a935f.png
LCM 速度测试
输入一段提示词，把 LoRA 添加进来：
https://img-blog.csdnimg.cn/img_convert/d4918c371da85d720e15f5f27fd6ff69.png
按照下图修改配置参数：
https://img-blog.csdnimg.cn/img_convert/6d1086fdb121cd22314c8442d1467caa.png
用时 3.6s 就能出图：
https://img-blog.csdnimg.cn/img_convert/b65144c632a4ceb93e21b23df2c3693f.png
差别采样器出图效果对比：
https://img-blog.csdnimg.cn/img_convert/3509f201036e235e309315ed3f21d8f8.png
再来看看，差别迭代步数的出图效果对比：
https://img-blog.csdnimg.cn/img_convert/ca357f549c4b112a00650cefbe476266.png
https://img-blog.csdnimg.cn/img_convert/71aa7f3afbd91c9baccea907e11519d7.png
https://img-blog.csdnimg.cn/img_convert/7fd60c0c16431eefa220cefe8254aa2f.png
当 迭代步数 达到4步时，图片已达到基本可用的程度，
在 5步 之后，每增加 1步，画面会更加锐利，
增加到 第9步 之后，继续增加迭代步数，画质提拔不太明显。
LCM 技能的参加，确实能提高出图效率，
尽管生成图片的质量不算太高，但在该技能的帮助下，我们完全可以使用较低的步数，快速的大批量出图，
然后再挑选满意的图片举行高清放大处置惩罚，有效避免了不断重复抽卡的烦恼。
今天先分享到这里~
开启实践：SD绘画 | 为你所做的学习过滤
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]