【AI绘画】Comfyui工作流原理拆解分析
媒介大家好,我是写编程的木木。
前面几篇有讲到Comfyui的安装和入门基础的文生图,图生图加上CN和局部重绘的工作流教程,这工作流是基于sd webui的工作流原理跟大家简朴讲了Comfyui工作流的基本原理。
本日我们通过拆解组合的方式再稍微深入拓展给大家讲一下Comfyui的工作流原理。
一、原理讲解
通过基础的文生图工作流,我们可以拆解成几个部门,通过分析,我们可以得到基础的工作流原理是:模型+提示词+尺寸分辨率设置+采样器+VAE解码+生成的图像。
https://i-blog.csdnimg.cn/direct/b555b74aabea4d5e927812522d5fd22f.png
通过拆解分析后,我们发现,从K采样器这里拆开,之前的模型+提示词+尺寸设置,都汇总到K采样器这个节点,以是可以明白为,在K采样器前的所有条件,都是作为条件组合【输入】给K采样器,通过K采样器汇总采样,运送给VAE解码,最终生成图像。
通过归并,我们总结为以下三个部门,我们把条件输入称为“条件空间模块”,K采样器模块称为“潜空间”,VAE解码生成图像称为“像素空间”,这三个模块组成了Comfyui的完整工作流。
即Comfyui的基础工作流原理=条件空间+潜空间+像素空间
https://i-blog.csdnimg.cn/direct/65b614c60ba340019b3065917d8dadd7.png
这里有须要说一下,潜空间是整个工作流最核心的节点,整个工作流是通过这个潜空间对前面的条件举行“加工”,这里的加工处理,是对图像的加噪和去噪过程,最终生成符合我们输入条件的图像,而这里的图像还不能直接展示出来,须要通过VAE解码,将潜空间的图像转换成像素空间的图像后才气展示出来。
相识了Comfyui的工作流原理,那如果我们须要给工作流加上Lora和Controlnet,怎么加?我们知道这两个条件是要对图像举行条件的输入,那么是须要加在潜空间模块之前。
在Webui中我们知道,lora是加在正向文本里的,但是在Comfyui,lora有单独的节点,我们双击画布空缺处,搜索Lora,就可以找到Lora节点并点击就可以添加到画布。
https://i-blog.csdnimg.cn/direct/c94fb63b806548adba9fbc045c489e78.png
https://i-blog.csdnimg.cn/direct/373a7d2ec6fb451da7d0d99a41c10eab.png
二、拓展Lora模型链接
如果你想添加多个Lora,可以重复上述步调添加,也可选中当前lora节点,通过键盘的快捷键Ctrl+C,Ctrl+V举行复制。
https://i-blog.csdnimg.cn/direct/95265ab29bbc46eda2da946f995545e7.png
然后通过串联的形式,将Checkpoint模型和Lora模型的模型接口对应链接上,将CLIP接口链接上,末了CLIP对应链接到文本编码器(正负提示词节点)即可。对应Lora选择相应模型即可。
三、拓展Controlnet毗连
我们知道在webui中,Controlnet是以插件的形式存在的,如果我们是第一次使用Comfyui,须要下载Controlnet模型和对应节点。
[*] 安装Controlnet插件节点:Controlnet_aux插件,通过manager节点管理器搜索点击按钮即可安装,以下截图是已安装完成的。
https://i-blog.csdnimg.cn/direct/37f081bc426c4b44bfef2a76b28b2572.png
[*] 下载Controlnet模型,放置在Comfyui的对应模型文件夹下
https://i-blog.csdnimg.cn/direct/8571beaf028148c3a586e6a9c8f21cbb.png
安装完成后,重启Comfyui,我们就可以在画布空缺双击弹窗搜索Controlnet,就可以将节点添加到画布,添加后,我们发现Controlnet的输入毗连点是“条件”,那我们须要将他放置在“文本编码器”的后边。
https://i-blog.csdnimg.cn/direct/e45c16d292f04caaa288c8bd5bd272f5.png
毗连条件后,我们发现,Controlnet节点另有两个毗连点分别是青色和蓝色的点,我们可以反向拉出来,选择添加Controlnet模型节点和openpose预处理节点,毗连添加图像节点。
https://i-blog.csdnimg.cn/direct/25413c6c2b724447952a10bc0f00b6cd.png
然后我们添加图像,选择Controlnet模型 sd 1.5 openpose,就可以简朴出图了。
https://i-blog.csdnimg.cn/direct/8b27963e74924b1984280da4f9a6b077.png
https://i-blog.csdnimg.cn/direct/8c879efd7cd540b4845217f3937709be.png
https://i-blog.csdnimg.cn/direct/af898f3fd25943a2a53f575079976f37.png
通过openpose提取参考图像的姿势,得到一个姿势和参考图一样的新的图像。
通过以上的拆分和讲解,我们基本上相识Comfyui的基础原理,之后自己搭建更加复杂的工作流,基本是按照这个逻辑来举行搭建。
好了,以上就是本日的全部内容了,我们持续探索更新AIGC的筹划相关思绪教程。
写在末了
感爱好的小同伴,赠予全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
https://i-blog.csdnimg.cn/direct/4c4931bd31634629a0c5d16f6112ca89.jpeg
AIGC技能的未来发展前景广阔,随着人工智能技能的不断发展,AIGC技能也将不断进步。未来,AIGC技能将在游戏和计算范畴得到更广泛的应用,使游戏和计算体系具有更高效、更智能、更灵活的特性。同时,AIGC技能也将与人工智能技能紧密结合,在更多的范畴得到广泛应用,对步调员来说影响至关紧张。未来,AIGC技能将继续得到进步,同时也将与人工智能技能紧密结合,在更多的范畴得到广泛应用。
https://img-blog.csdnimg.cn/direct/e6a8b48b8024497daecb9d6652c72bb7.png#pic_center
一、AIGC所有方向的学习蹊径
AIGC所有方向的技能点做的整理,形成各个范畴的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,包管自己学得较为全面。
https://img-blog.csdnimg.cn/direct/af6e2f485a4f485d9b76a93afa81a02f.png
https://img-blog.csdnimg.cn/direct/7d91365d8b3a45aba258f4603c71dc5c.png#pic_center
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
https://img-blog.csdnimg.cn/direct/01a2ea000b474fef83abfd18888b2e38.png
三、最新AIGC学习笔记
当我学到肯定基础,有自己的明白能力的时间,会去阅读一些先辈整理的册本或者手写的笔记资料,这些笔记具体纪录了他们对一些技能点的明白,这些明白是比较独到,可以学到不一样的思绪。
https://img-blog.csdnimg.cn/direct/9e597a6fae9344cea8f4a9caf30ecc55.png
https://img-blog.csdnimg.cn/direct/f2619de95125425d8a19b85ce2ff1894.png
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思绪,从基础到深入,还是很容易入门的。
https://img-blog.csdnimg.cn/direct/ce803d0289b84736b059293d696429b6.png
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才气将自己的所学运用到现实当中去,这时间可以搞点实战案例来学习。
https://img-blog.csdnimg.cn/direct/373dd1f17ed14db1a2fa4dfec03c0559.png
https://i-blog.csdnimg.cn/direct/e2e14cc58a99431baa25a6d6bd0815e1.jpeg
若有侵权,请联系删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]