论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
应用中心
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
qidao123.com技术社区-IT企服评测·应用市场
»
论坛
›
人工智能
›
人工智能
›
【AI绘画】Comfyui工作流原理拆解分析
【AI绘画】Comfyui工作流原理拆解分析
立山
论坛元老
|
2024-11-18 22:31:03
|
显示全部楼层
|
阅读模式
楼主
主题
1980
|
帖子
1980
|
积分
5940
媒介
大家好,我是写编程的木木。
前面几篇有讲到Comfyui的安装和入门基础的文生图,图生图加上CN和局部重绘的工作流教程,这工作流是基于sd webui的工作流原理跟大家简朴讲了Comfyui工作流的基本原理。
本日我们通过拆解组合的方式再稍微深入拓展给大家讲一下Comfyui的工作流原理。
一、原理讲解
通过基础的文生图工作流,我们可以拆解成几个部门,通过分析,我们可以得到基础的工作流原理是:模型+提示词+尺寸分辨率设置+采样器+VAE解码+生成的图像。
通过拆解分析后,我们发现,从K采样器这里拆开,之前的模型+提示词+尺寸设置,都汇总到K采样器这个节点,以是可以明白为,在K采样器前的所有条件,都是作为条件组合【输入】给K采样器,通过K采样器汇总采样,运送给VAE解码,最终生成图像。
通过归并,我们总结为以下三个部门,我们把条件输入称为“条件空间模块”,K采样器模块称为“潜空间”,VAE解码生成图像称为“像素空间”,这三个模块组成了Comfyui的完整工作流。
即Comfyui的基础工作流原理=条件空间+潜空间+像素空间
这里有须要说一下,潜空间是整个工作流最核心的节点,整个工作流是通过这个潜空间对前面的条件举行“加工”,
这里的加工处理,是对图像的加噪和去噪过程,最终生成符合我们输入条件的图像
,而这里的图像还不能直接展示出来,须要通过VAE解码,将潜空间的图像转换成像素空间的图像后才气展示出来。
相识了Comfyui的工作流原理,那如果我们须要给工作流加上Lora和Controlnet,怎么加?我们知道这两个条件是要对图像举行条件的输入,那么是须要加在潜空间模块之前。
在Webui中我们知道,lora是加在正向文本里的,但是在Comfyui,lora有单独的节点,我们双击画布空缺处,搜索Lora,就可以找到Lora节点并点击就可以添加到画布。
二、拓展Lora模型链接
如果你想添加多个Lora,可以重复上述步调添加,也可选中当前lora节点,通过键盘的快捷键Ctrl+C,Ctrl+V举行复制。
然后通过串联的形式,将Checkpoint模型和Lora模型的模型接口对应链接上,将CLIP接口链接上,末了CLIP对应链接到文本编码器(正负提示词节点)即可。对应Lora选择相应模型即可。
三、拓展Controlnet毗连
我们知道在webui中,Controlnet是以插件的形式存在的,如果我们是第一次使用Comfyui,须要下载Controlnet模型和对应节点。
安装Controlnet插件节点:Controlnet_aux插件,通过manager节点管理器搜索点击按钮即可安装,以下截图是已安装完成的。
下载Controlnet模型,放置在Comfyui的对应模型文件夹下
安装完成后,重启Comfyui,我们就可以在画布空缺双击弹窗搜索Controlnet,就可以将节点添加到画布,添加后,我们发现Controlnet的输入毗连点是“条件”,那我们须要将他放置在“文本编码器”的后边。
毗连条件后,我们发现,Controlnet节点另有两个毗连点分别是青色和蓝色的点,我们可以反向拉出来,选择添加Controlnet模型节点和openpose预处理节点,毗连添加图像节点。
然后我们添加图像,选择Controlnet模型 sd 1.5 openpose,就可以简朴出图了。
通过openpose提取参考图像的姿势,得到一个姿势和参考图一样的新的图像。
通过以上的拆分和讲解,我们基本上相识Comfyui的基础原理,之后自己搭建更加复杂的工作流,基本是按照这个逻辑来举行搭建。
好了,以上就是本日的全部内容了,我们持续探索更新AIGC的筹划相关思绪教程。
写在末了
感爱好的小同伴,赠予全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技能的未来发展前景广阔,随着人工智能技能的不断发展,AIGC技能也将不断进步。未来,AIGC技能将在游戏和计算范畴得到更广泛的应用,使游戏和计算体系具有更高效、更智能、更灵活的特性。同时,AIGC技能也将与人工智能技能紧密结合,在更多的范畴得到广泛应用,对步调员来说影响至关紧张。未来,AIGC技能将继续得到进步,同时也将与人工智能技能紧密结合,在更多的范畴得到广泛应用。
一、AIGC所有方向的学习蹊径
AIGC所有方向的技能点做的整理,形成各个范畴的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,包管自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到肯定基础,有自己的明白能力的时间,会去阅读一些先辈整理的册本或者手写的笔记资料,这些笔记具体纪录了他们对一些技能点的明白,这些明白是比较独到,可以学到不一样的思绪。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思绪,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才气将自己的所学运用到现实当中去,这时间可以搞点实战案例来学习。
若有侵权,请联系删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
立山
论坛元老
这个人很懒什么都没写!
楼主热帖
IoTOS-v1.5.3 新增 智能诊断&会话记录 ...
【学习笔记】WPF-01:前言
基于SqlSugar的开发框架循序渐进介绍( ...
网络安全-技术与实践 书本习题练习 ...
CentOS7 单机版使用kubeadm安装K8S ...
IO流的使用
WEB安全基础入门—身份验证漏洞 ...
开源直播课丨大数据集成框架ChunJun类 ...
Python中可以用三种方法判断文件是否存 ...
解读数仓常用模糊查询的优化方法 ...
标签云
渠道
国产数据库
集成商
AI
运维
CIO
存储
服务器
快速回复
返回顶部
返回列表