ToB企服应用市场:ToB评测及商务社交产业平台

标题: AI绘画专栏之Comfyui之AnimateDiffLCM更快效果更佳工作流分享 [打印本页]

作者: 水军大提督 时间: 2024-7-21 05:05
标题: AI绘画专栏之Comfyui之AnimateDiffLCM更快效果更佳工作流分享
AnimateLCM可以或许在很少的步骤中天生高质量的视频。相比直接在原始视频数据集上应用一致性学习，该项目提出了一种解耦的一致性学习策略，分别对图像天生的根本知识和运动天生的根本知识进行提炼。这种策略提高了练习服从并提升了天生视频的视觉质量。
那么关于两个LCM的工作流，和模子

AnimateDiff 模型和LCM工作流链接：https://pan.quark.cn/s/4c93c8b2511b

复制代码

AnimatediffLCM不仅仅是AnimateDiff与LCM的结合就完了，还对图像的质量，图像的一致性，和占用更低的显存做了优化，也就是说，两者兼得
示例
原理
视频扩散模子因其可以或许天生连贯且高保真度的视频而受到越来越多的关注。然而，迭代去噪过程使其盘算密集且耗时，从而限定了其应用。受一致性模子（CM）的开导，该模子提炼了预练习的图像扩散模子以以最小的步骤加快采样，并在条件图像天生上乐成扩展了潜在一致性模子（LCM），我们提出了AnimateLCM，答应在最小的步骤内天生高保真视频。我们没有直接在原始视频数据集上进行一致性学习，而是提出了一种解耦一致性学习策略，将图像天生先验和运动天生先验的蒸馏解耦，提高了练习服从，加强了天生视觉质量。别的，在稳定的扩散社区中实现即插即用适配器的组合，以实现各种功能~（例如，用于可控发电的ControlNet）。我们提出了一种有效的策略，使现有适配器顺应我们提炼的文本条件视频一致性模子，大概从头开始练习适配器，而不会影响采样速度。我们在图像条件视频天生和结构条件视频天生中验证了所提出的策略，都取得了最佳效果。

下载模子放置位置
1.它是支持animatediffv3的
2.纵然在 Windows 上的 256 GB rx 256 gpu 上以 256x8x600 的分辨率，当其他型号至少答应我以该分辨率创建时，这也会导致内存不足。但是LCM没有凌驾8GB
3.AnimateLCM，答应在最小的步骤内天生高保真视频。我们没有直接在原始视频数据集上进行一致性学习，而是提出了一种解耦一致性学习策略，将图像天生先验和运动天生先验的蒸馏解耦，提高了练习服从，加强了天生视觉质量。别的，在稳定的扩散社区中实现即插即用适配器的组合，以实现各种功能（例如，用于可控天生的 ControlNet）。我们提出了一种有效的策略，使现有适配器顺应我们提炼的文本条件视频一致性模子，大概从头开始练习适配器，而不会影响采样速度。我们在图像条件视频天生和结构条件视频天生中验证了所提出的策略，都取得了最佳效果。
模子存放
sd15_t2v_beta.ckpt
ComfyUI/models/animatediff_models
sd15_lora_beta.safetensors
ComfyUI/models/loras
工作流必须的节点
https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
https://github.com/jojkaart/ComfyUI-sampler-lcm-alternative
ADE_StandardUniformContextOptions
SamplerLCMCycle
ADE_LoadAnimateDiffModel
LoraLoader
BNK_CLIPTextEncodeAdvanced
ADE_UseEvolvedSampling
LCMScheduler
ADE_ApplyAnimateDiffModelSimple
VAEDecode
SamplerCustom
领取comfyui工作流合集、超多AI合集已整理到https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)