4G显存玩转AI绘画！Stable Diffusion WebUI Forge来了！
经常利用Stable Diffusion WebUI的同砚大概都被显存的问题困扰过，其运行时需要巨大的显存空间，跑着跑着显存大概就爆了，不得不重新启动。不外现在这个问题解决了，因为Stable Diffusion WebUI Forge来了。Forge的优势
相较于原版的SD WebUI（针对1024像素分辨率下的SDXL图片天生），可以获取以下性能提升：
[*]对于8GB显存GPU，天生速率可以有大约30%至45%的提升，GPU内存峰值下降约700MB至1.3GB，最大扩散分辨率将提升约2到3倍，同时最大扩散批次大小将增加约4到6倍。
[*]对于6GB显存GPU，天生速率预计可提升约60%至75%，GPU内存峰值会降低约800MB至1.5GB，最大扩散分辨率将提升约3倍，最大扩散批次大小将增加约4倍。
[*]对于24GB显存的4090 GPU，天生速率预计可提升约3%至6%，GPU内存峰值将下降约1GB至1.4GB，最大扩散分辨率将提升约1.6倍，而最大扩散批次大小将增加约2倍。
[*]另外对于SDXL，SDXL+ControlNet的速率将提升约30%至45%。
Forge后端移除了原版WebUI中与资源管理相关的全部代码，并对其举行了重构。不需要任何特别设置，Forge即可支持在4GB显存下运行SDXL以及在2GB显存下运行SD1.5。
Forge做了什么
Stable Diffusion WebUI Forge是Stable Diffusion WebUI的优化版本，和原版WebUI的功能根本保持同等，但是大幅简化了开辟流程，优化了资源管理，并加速了推理速率。为什么不直接改WebUI呢？因为WebUI有很多的汗青包袱，不好直接大幅度重构，开辟者之间协调起来也很麻烦。
“Forge”这个名字来源于“我的世界(Minecraft)的Forge”，这个项目的目的是成为SD WebUI的Forge。在“我的世界”中，Forge解决了模组之间的兼容性问题，确保多个模组可以在同一环境中协同工作，而不会因为互相辩论而导致游戏瓦解或其他不可预见的问题。
与此雷同，WebUI Forge也带来的一项巨大的革新，这就是Unet Patcher技术。借助这个工具，原本复杂的技术如自留意力引导、Kohya高清修复方案、FreeU、StyleAlign以及Hypertile等，现在通过仅仅约100行代码就能够轻松实现集成，大大简化了开辟过程。
有了Unet Patcher，WebUI Forge平台也得以支持和便捷实现一系列创新功能与特性。无论是SVD、Z123、带蒙版的ControlNet系统，还是用于照片天生的照片制作工具（PhotoMaker）等，都变得触手可及。开辟者再也不必费尽心思对UNet做复杂的临时性修补，同时也消除了与其他扩展相互干扰的风险，使得整个开辟环境更加和谐稳定。
Forge本领先容
Forge的本领和原版WebUI的本领差不多，界面也根本上是一样的。下边我将重要先容下 Stable Diffusion WebUI Forge 带来的三个重要新本领。
https://i-blog.csdnimg.cn/blog_migrate/d372103b5466dc1be1da5814fb17b1aa.png
SVD
Stable Video Diffusion是Stability AI公司研发的一款先进的图片天生视频模型，这个模型基于Stable Diffusion模型举行了拓展，在SD的基础上引入了时间维度，能够捕捉并天生动态场景，重要用于将静态图像转化为连续流畅的视频内容。
模型采用了潜伏扩散模型（Latent Diffusion Model, LDM）架构，并针对视频数据集举行了优化。通过添加时间层，模型能够理解和预测视频序列中每一帧的变化，从而天生连贯的视频片断。
Stable Video Diffusion可以以每秒3至30帧的可定制帧率天生14帧或25帧长度的视频，而且在外部评估中体现出了优于某些闭源模型的性能。
在这个功能中我们可以利用其最新发布的1.1版本，还有很多参数可以自己控制调解。
https://i-blog.csdnimg.cn/blog_migrate/e942dee41b6baa75658234623462a643.png
Z123
Z123是Zero123的缩写，Zero123是一种能从单张2D图像天生高质量3D模型的技术，它运用了深度学习的扩散模型原理，允许模型理解并推测出输入图像中物体的3D结构和空间信息，进而天生多视角下的连续且同等的图像或直接构建3D模型。
在Stable Diffusion WebUI Forge中我们需要自己下载部署Zero123模型，这里我部署了stable_zero123.ckpt 模型。Stable Zero123是Zero123模型的一个增强版本，它进一步提升了模型性能，在质量和准确性上有所突破，尤其在处理从单张图像天生3D对象方面体现出色。
https://i-blog.csdnimg.cn/blog_migrate/38b60e376d8a37377cad252741a0c4fc.png
这个功能有一些参数可以设置，比如宽度、高度等，重点是海拔和角度，这就可以天生差别的视角的图片。
https://i-blog.csdnimg.cn/blog_migrate/3c9fe9e0ec69140397aaeb0050484df0.png
AnimateDiff
AnimateDiff 在WebUI中是个插件，重要用于为 Stable Diffusion 添加动态元素，使其能够天生流畅且连续的动画视频，网络上流行的“女孩的一生”就是用这个工具天生的。因其天生动画的平滑、稳定而受到广泛欢迎，被以为是Stable Diffusion生态中天生动画视频结果最为出色的一款插件。
AnimateDiff 在现有扩散模型的基础上增加了一个运动建模模块，这一模块通过学习大规模视频数据集，能够捕捉并合成合理的时间序列变化，将静止的二次元或三维图像转换为动态的动画。
这个插件也能够用在原版的WebUI中，不外开辟者为Forge也维护了一个单独的版本，结合ControlNet的本领也更为强盛一些，插件地点：https://github.com/continue-revolution/sd-forge-animatediff
如果你对利用 AnimateDiff 天生视频感兴趣，可以看我这篇文章：
https://i-blog.csdnimg.cn/blog_migrate/67e7b8ca16e76756e45a23a27c4697c0.png
利用Forge
利用镜像
我在AutoDL（AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL）上制作了一个镜像，解决了各种程序包和模型的问题，Z123、SVD、AnimateDiff这三个功能也都预备好了，可以直接利用。
租用实例时，镜像选择“社区镜像”，输入 yinghuoai 就可以找到：
https://i-blog.csdnimg.cn/blog_migrate/19ac962536dcdf6bdc70fcd752238be4.png
镜像内置了一个简单的启动器，点击即可启动整个 WebUI Forge 程序。
https://i-blog.csdnimg.cn/blog_migrate/982c3169958945a35209c44556b9752d.png
启动后就可以通过 AutoDL 提供的“自定义服务”在浏览器中访问WebUI Forge了。
https://i-blog.csdnimg.cn/blog_migrate/27269dd3603cd02fe1c9e6782eb2eae0.png
手动安装
和原版WebUI的安装方法差不多，首先下载代码到本地，然后执行启动脚本（Windows：webui-user.bat，Linux：webui.sh），就可以主动安装部署。
Forge另外提供了一个一键安装包，有兴趣的可以试试：
https://github.com/lllyasviel/stable-diffusion-webui-forge/releases/download/latest/webui_forge_cu121_torch21.7z
只是利用时大概会碰到一些缺少包或者模型的问题，需要手动下载或安装。如有问题，欢迎交换沟通。
资源下载
文章中利用的SD模型、Lora模型、SD插件、示例图片等，都已经上传到我整理的 Stable Diffusion 绘画资源中；另外我整理了自己输出的关于 Stable Diffusion 的全部教程，包括基础篇、ControlNet、插件、实战、模型练习等多个方面，比较全面、体系化，特别适合新手和想要系统化学习利用Stable Diffusion WebUI的同砚。最新下载地点请发消息：SD 到公众号 yinghuo6ai ，即可获取。
https://i-blog.csdnimg.cn/blog_migrate/88a878ce1155bfc393de37ab98c23b88.png
利用中碰到问题，欢迎向我反馈！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]