【扩散模型】LCM LoRA:一个通用的Stable Diffusion加快模块
潜在一致性模型： Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference (arxiv.org)原文：Paper page - Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference (huggingface.co)
简介：LCM 只需 4,000 个练习步调（约 32 个 A100 GPU/小时）即可从任何预练习的稳定扩散 (SD) 中提取出来，只需 2~4 个步调甚至一步即可天生高质量的 768 x 768 分辨率图像，从而显着加快文本转换 -图像天生。
潜在一致性模型
先容
潜在扩散模型(Latent Diffusion models, ldm)在高分辨率图像合成方面取得了明显的成果。然而，迭代采样过程盘算量大，导致天生速率慢。受一致性模型的开导，我们提出了潜在一致性模型(Latent Consistency Models, lcm)，能够在任何预练习的ldm上以最小的步调进行快速推理，包括稳定扩散。
原理：将引导反向扩散过程视为求解增强概率流ODE (PF-ODE)， lcm设计用于直接猜测潜在空间中此类ODE的解，从而减少了多次迭代的必要，并允许快速，高保真采样。有用地从预练习的无分类器引导扩散模型中提取，高质量的768×768 2 ~ 4步LCM仅需32 A100 GPU小时即可进行练习。此外，引入了潜在一致性微调(LCF)，这是一种针对自界说图像数据集微调LCF的新方法。
一致性模型(CMs)：作为一种新型天生模型体现出巨大的潜力，可以在保持天生质量的同时加快采样速率。一致性模型接纳一致性映射，直接将ODE轨迹中的恣意点映射到原点，实现快速一步天生。可以通过提取预练习的扩散模型或作为独立的天生模型进行练习。
原理
潜在空间中的一致性蒸馏
在诸如稳定扩散（Stable Diffusion, SD）(Rombach et al, 2022)等大规模扩散模型中，使用图像的潜在空间有用地进步了图像天生质量并减少了盘算负载。在SD中，起首练习一个自编码器（E, D）来将高维图像数据压缩为低维潜在向量
页:
[1]