数据人与超自然意识 发表于 2024-8-13 08:33:06

【Stable Diffusion】来了来了!属于SDXL的ControlNet模型它终于来了!

千呼万唤始出来!就在昨天,WebUI的ControlNet1.1.4版本终于更新,这次的更新支持了SDXL1.0的模型。我怀着兴奋的心情,打开了网站开始下载模型。这次总共出了四种控制类型,分别是Canny、Depth、Sketch和Openpose。
https://i-blog.csdnimg.cn/direct/3872bdc204f544a4b03762f8c1c1d920.png
来到Hugging Face的网址:https://huggingface.co/lllyasviel/sd_control_collection/tree/main。可以看到这里有相当多的模型,当然,我们不需要全部都下载下来,由于它们之间有许多功能是重复的,是不同的作者做出来的。
https://i-blog.csdnimg.cn/direct/ba76ab05d0584dd1bfc59c155cb886fd.png
但是呢,为了帮你们提前踩雷,我把他们全部都下载了,而且逐个做了测试,看到我这么辛劳的份上,你们一定会要给我一个“点赞”和“在看”的吧。
https://i-blog.csdnimg.cn/direct/e0fcfb28d0cb4d0f90342c7eaa2086f7.png
接下来,让我们来分类看一下吧。
#Canny硬边缘
首先是canny,它有几个不同的型号,体积越大,速率越慢。
https://i-blog.csdnimg.cn/direct/8f033c37dc294d429cb4e407b17eb030.png
我使用的是4080ti的条记本进行的测试,12G显存。


[*] 模型sdxl base+refiner
[*] 提示词:masterpiece,best quality,1girl
[*] 采样方法:euler a
[*] 尺寸1024*1024
https://i-blog.csdnimg.cn/direct/31c4140022754295b05482312655a4d0.png
使用diffusers的2.5Gfull模型绘制的图片,一张图花了2分57秒,从这个服从上来看,这个大尺寸根本可以弃了。
https://i-blog.csdnimg.cn/direct/b2595ea0d27141fd9320a5f9d3491de1.png
使用diffusers的320Mb的small模型,用时34s,质量上差距不大,紧张是时间优势很明显。
https://i-blog.csdnimg.cn/direct/648a356c11bd4cbfb76eb6184e261eb0.png
我们可以再看看其他作者的,这张是kohya的,用时33秒,更靠近真实质感。
https://i-blog.csdnimg.cn/direct/0463c9bfdddc42ac8329aa181f20540b.png
sai的canny分为128lora和256lora,分别用时39秒和1分08秒,这个模型比力偏绘画的感觉。
https://i-blog.csdnimg.cn/direct/3ee0ae560ddb41e1a921db85461ea82c.png
https://i-blog.csdnimg.cn/direct/7496809a21a943f3b12bfe75793e64a7.png
最后还有一个t2i的canny模型,用时34s,也是偏插画一点。
https://i-blog.csdnimg.cn/direct/6ec0ca66aada44d8a3bc2f0ac9fb79fc.png
你们觉得哪个效果更好呢?时间上根本都在30秒以上,如果关掉refiner的话,能节省一半左右的时间,平均在17秒左右。
#Depth深度
接下来测试一些depth模型,图形尺寸664*1024。
https://i-blog.csdnimg.cn/direct/8e6f9e9f072e4b919f6cbebc52187f58.png
使用diffusers的full模型,用时2分48秒,sdxl给我随机到了一个拼贴画的风格。
https://i-blog.csdnimg.cn/direct/e5da961d48424221a3df8f4960392e8a.png
使用diffusers的small模型,用时23s。
https://i-blog.csdnimg.cn/direct/416215d17db1466eb974b8287bf12193.png
使用kohya模型,用时42秒。这……好像和我的图片没什么关系。
https://i-blog.csdnimg.cn/direct/db13eb0ede1e483b934be0c8f3583b41.png
使用sai模型,用时1分12秒,画质还可以,稍微有点慢。
https://i-blog.csdnimg.cn/direct/0131ffad0a284ee388a4e1ed506adf7c.png
Sketch草图
接下来测试一下sketch模型,画一只可爱的小猫,图形尺寸1024*624。
https://i-blog.csdnimg.cn/direct/4191c5d604694e19ba08086237f523d0.png
使用kohya模型,用时30秒,这是个啥???
https://i-blog.csdnimg.cn/direct/5df77cb27413433dacf7f131005cc298.png
使用sai模型,没找到小猫详细的位置,用时32秒,画质还可以。
https://i-blog.csdnimg.cn/direct/6f7d1919ab72430d8846371152dab3c5.png
使用t2i模型,用时28秒,唯逐一个准的。
https://i-blog.csdnimg.cn/direct/be9817ed8f94427cbeb1fc67239d1e17.png
Openpose骨架
最后测试一下openpose模型,图形尺寸1024*624。
https://i-blog.csdnimg.cn/direct/eb138551c3d44abfb04a724d7ccb619b.png
使用kohya模型,画很悦目,但姿势不对,用时40秒。
https://i-blog.csdnimg.cn/direct/6e18ba132265461b839b8648fbf78ae3.png
感兴趣的小伙伴,赠予全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,详细看这里。

https://img-blog.csdnimg.cn/direct/aa19b116493b4e719d11d1b2a57efab9.png#pic_center
AIGC技术的未来发展远景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算范畴得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更机动的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的范畴得到广泛应用,对程序员来说影响至关紧张。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的范畴得到广泛应用。
https://img-blog.csdnimg.cn/direct/aa57cfece25e401694bf5d1046bd7455.png
一、AIGC全部方向的学习路线

AIGC全部方向的技术点做的整理,形成各个范畴的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,包管本身学得较为全面。
https://img-blog.csdnimg.cn/direct/c62c1768bedb4c6982a3fffc54bb911d.png
https://img-blog.csdnimg.cn/direct/89039549fe7f4683a2ce89323a2e101a.png
二、AIGC必备工具

工具都帮各人整理好了,安装就可直接上手!
https://img-blog.csdnimg.cn/direct/de1388603f8b4d068b33839737364596.png
三、最新AIGC学习条记

当我学到一定基础,有本身的理解能力的时候,会去阅读一些先辈整理的书籍大概手写的条记资料,这些条记详细记载了他们对一些技术点的理解,这些理解是比力独到,可以学到不一样的思路。
https://img-blog.csdnimg.cn/direct/b59bdc66881849a8ab6a46cd5421a93d.png
https://img-blog.csdnimg.cn/direct/5f96b729637345f08e2e4b2561dd40a7.png
四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有用果的方式,跟着视频中老师的思路,从基础到深入,还是很轻易入门的。
https://img-blog.csdnimg.cn/direct/f24fd41af51c4f948f38805bd6622bcd.png
五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将本身的所学运用到实际当中去,这时候可以搞点实战案例来学习。
https://img-blog.csdnimg.cn/direct/03cc726e584849f38934fd46652a83fc.png
https://img-blog.csdnimg.cn/direct/4a2d3a791f754642af3f0383c95ee9c7.png#pic_center

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 【Stable Diffusion】来了来了!属于SDXL的ControlNet模型它终于来了!