论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
应用中心
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
qidao123.com技术社区-IT企服评测·应用市场
»
论坛
›
人工智能
›
人工智能
›
【AI绘画】Comfyui图生图基础工作流:图生图+Lora+contr ...
【AI绘画】Comfyui图生图基础工作流:图生图+Lora+controlnet及局部重绘工 ...
郭卫东
论坛元老
|
2024-9-17 01:25:38
|
来自手机
|
显示全部楼层
|
阅读模式
楼主
主题
1843
|
帖子
1843
|
积分
5529
大家好,我是写编程的木木。
上一篇我们说到在comfyui中去搭建一个在webui的基础文生图的工作流,包括文生图+lora+controlnet的整个工作流。
那么这期我们来讲一下图生图工作流,以及加上lora加上controlnet,以及图生图的局部重绘的完整工作流。
我们先加载文生图的基础工作流:
图生图工作流及参数
我们知道图生图的工作流,其实是在文生图的基础上增长一个图像输入的节点,在文生图的基础上,通过控制图像输入,vae编码传到潜伏空间,来完成图生图的生图流程。
那么我们就文生图的工作流上添加“加载图像”、“vae编码”,我们新建节点“加载图像”、“vae编码”:
我们知道sd的图生图其实也是图像的一次缩放,所以,我们还必要添加一个图像缩放,添加完以上节点后,我们将对应的大模型上的vae链接到“vae解码”节点上的“vae”,然后加载图像、图像缩放的“图像”连接起来,传到采样器的Latent,之前链接Latent图像尺寸“空Latent”就可以删掉了。
然后,我们点击天生,发现得到的图像和我们上传的图像不一样,
这里涉及到的一个“降噪”的概念,降噪相当于我们在webui的“重绘幅度”,数值越大,图像越不像,数值越小,相似度越高。
这里我们参数为1,降噪幅度太大,和原图相差大,那么我们就可以把“降噪”数值调小一点,我们试一下0.3比较合适(这个数值大家可自行尝试),得到如下图像,相似度还是很高的:
·图生图+Lora等模型风格尝试
我们也可以改变不同的模型,比如二次元的大模型和Lora模型,也可以得到不同风格的图像:
原图左,生图右:
以上就是图生图+Lora模型的完整工作流啦!
·局部重绘+controlnet
接下来我们再讲一个图生图+局部重绘,局部重绘,我们知道是在输入图像上添加一个局部蒙版,对蒙版内或者蒙版外进行重绘。那么我们就在加载图像的节点里的图添加蒙版,同时,因为我们必要一个带有遮罩参数设置的vae解码器,那我们添加一个“vae内补编码器”节点来替换原有的“vae编码”节点,“vae内补编码器”中的“遮罩延展”是蒙版部门周围的模糊水平。原有的“vae编码器”我们就可以删掉了:
然后我们链接对应的vae大大模型,遮罩链接到加载图像节点,对应的图像节点还是链接对应的图像就好了,假如你还想对遮罩进行预览,可以再添“遮罩到图像”节点连接“图像预览”的节点即可。
我们点击选择加载图像节点-右键-在遮罩编辑器中打开,对图像进行遮罩绘制:
打开编辑器可以看到左下角红框两个是绘制蒙版的大小和透明度,右侧“save…”这个按钮是绘制好了点击保存就可以回到工作流界面,可以看到蒙版就添加上了,如下:
选择好模型测试一下效果:
其实我们发现,如许直接图生图的局部重绘感觉不太行,就是得到的脸,拼接得不太合理,而且还有画面破裂之类的题目。
那这时候我们必要再添加一个controlnet节点来辅助我们的生图:
添加controlnet节点后,我们将正反提示词链接点连接到controlnet上,输出链接到采样器上。
然后controlnet模型,我们链接到加载器上,aux处理器的图像,我们连接到图像出来的“系数缩放”节点的“图像”。
原图左,生图右,通过局部重绘就把原来的图像换了一张脸:
以上就是我们的局部重绘+controlnet的工作流了,很多同学因为没有添加“controlnet”节点,进行局部重绘,会出现效果不是很好的情况,这个工作流就给大家解决这个题目了。
这个局部重绘工作流得当很多场景,如电商场景,人物换脸,其他图像修复等,都很适用~希望大家多多尝试。
写在末了
感兴趣的小伙伴,赠予全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技能的将来发展远景广阔,随着人工智能技能的不断发展,AIGC技能也将不断进步。将来,AIGC技能将在游戏和计算范畴得到更广泛的应用,使游戏和计算体系具有更高效、更智能、更机动的特性。同时,AIGC技能也将与人工智能技能紧密联合,在更多的范畴得到广泛应用,对步伐员来说影响至关紧张。将来,AIGC技能将继承得到进步,同时也将与人工智能技能紧密联合,在更多的范畴得到广泛应用。
一、AIGC所有方向的学习门路
AIGC所有方向的技能点做的整理,形成各个范畴的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习条记
当我学到一定基础,有自己的明白能力的时候,会去阅读一些先辈整理的书籍或者手写的条记资料,这些条记详细记载了他们对一些技能点的明白,这些明白是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到现实当中去,这时候可以搞点实战案例来学习。
若有侵权,请联系删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
郭卫东
论坛元老
这个人很懒什么都没写!
楼主热帖
SQL的约束
界面组件DevExpress ASP.NET Core v21. ...
用python对美女内容采集,舞蹈区内容真 ...
Cilium 系列-3-Cilium 的基本组件和重 ...
vue 详情页返回列表,过滤查询条件保留 ...
在本地运行Kusto服务器
2023团队天梯模拟赛 L2-3 智能护理中心 ...
拦截|篡改|伪造.NET类库中不限于public ...
ASP.NET Core MVC 从入门到精通之HttpC ...
mysql5.7.35安装配置教程【超级详细安 ...
标签云
渠道
国产数据库
集成商
AI
运维
CIO
存储
服务器
浏览过的版块
Java
物联网
快速回复
返回顶部
返回列表