论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
应用中心
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
qidao123.com技术社区-IT企服评测·应用市场
»
论坛
›
人工智能
›
人工智能
›
[AI绘画] 简明原生 ComfyUI 三重超细节放大教程(附工作 ...
[AI绘画] 简明原生 ComfyUI 三重超细节放大教程(附工作流) ...
不到断气不罢休
论坛元老
|
2024-9-15 16:46:13
|
显示全部楼层
|
阅读模式
楼主
主题
1808
|
帖子
1808
|
积分
5424
本教程将从0构建 ComfyUI 三重细节填充放大工作流,人有多大胆,图有多大产
**(发起横屏)**
鬼灭之刃 · 堕姬 & 甘露寺蜜璃 · 三重细节填充放大 · 16K(15488×8832)
「四种放大」
”潜空间“和”像素空间”,图像放大可以在潜空间里做,也可以在像素空间里做,服从和效果大相径庭。
AI绘画常用的图像放大思路有四个:像素放大、模子放大、重采样放大、区块放大。这四个并不是专业术语,也不是标准的分类,但我以为这么分类非常有助于明白和实操,其他不常用的放大方法在此没有拿出来讨论的须要性。
「像素放大」
右侧是一张150px×150px的头像,左侧是使用图片编辑器(这里使用Photoshop也就是PS)的“调解图像大小”功能举行的简单两倍像素放大(也就是300px×300px)的效果。原来的蓝色眼瞳高光占2个像素,放大后占了约9个像素。
像素放大法只是单纯的将1个像素点复制出了N个,仅此而已(其实就是基于插值算法,计算出图像放大后新位置的像素值),它并不增长任何细节。当把镜头推远后,直观感觉上图像的质量并没有提升,该“糊”的地方还是很“糊”。
这个事情也侧面反映出,
图像和视频并不是分辨率越高质量越好。所谓的“高清”、“超清”,讲的是单位面积的像素内所承载的内容密度
。内容密度不敷,分辨率再高也是糊。
“像素放大”方法是在“像素空间”做文章的放大方法,也是对提升清楚度来说最没用的一种放大方法。
「模子放大」
基于深度学习模子、网络对抗模子等现代算法来放大图片,在进步分辨率的同时保持能加强图像的细节、清楚度和逼真度。耳熟能详的有ESRGAN系列和它的升级版4x-ultrasharp。
右半边是原图,左半边使用了 4x-ultrasharp 模子举行放大。嘴唇、皮肤、脖子上的金属首饰,质感得到了显着加强。直观上,4x-ultrasharp 增长了图像的“锐度”,这可能也是模子使用“sharp”这个词的原因。
同样是使用了 4x-ultrasharp 放大模子,注意头发和眉毛在经过模子放大后纹理和细节性的加强程度。
模子放大方法也是在“像素空间”做文章的放大方法,它总是实验从低分辨率图像中天生高分辨率图像,然后不断判断天生的高分辨率图像与真实高分辨率图像之间的差异,多次迭代形成最优图像。
模子放大是最常用的图像还原和超清分辨率方法,快速、使用、质量高。工作流非常简单:
「重采样放大」
重采样放大也叫潜空间放大,顾名思义就是把“高维度像素空间”的图片,通过VAE编码打回到“更大尺寸的低维度潜空间”,通过添加额外的随机噪声,再VAE解码,实现图片的间接放大。
如果你明白潜空间的寄义,就知道重采样放大,实际上是一种图生图重绘,以是这种放大思路的缺点在于放大质量的不稳定性。重采样步骤和采样算法等因素的协调性,直接影响了放大的质量和与原图的一致性。
「区块放大」
区块放大严酷意义上不是一种“算法”,它更像是一个工程技巧。它的根本思路是图像拆分->分别放大->重新组合。
更大的图像尺寸就是可以或许在单位像素面积下承载更多的内容,以是尽可能地在放大整体像素尺寸的同时填充内容,是各人都希望的。换句话说,只要硬盘够大,好的图片多多数不算大。
假设你的显卡和显存容量,可以或许支持一次性将1024×1024的图片放大4倍,也就是4096×4096,那么你还能将它再一次性超清放大4倍吗?然后再放大4倍呢?对于大多数家用电脑,答案是否定的,强如N卡GTX4090的显存也会爆掉。
区块放大,就是将这个4096×4096的图片,三横三竖砍成16个1024×1024的图块,然后分别对这16张局部图举行16次单独放大,再将他们按照原来的顺序和位置拼接好,从而实现对 4096×4096 放大4倍的效果。
实际的分块,要比上面这个计算尺寸大一个边,也就是说,块与块之间的界限,有内容重合的部门,比如每个块实际上是按照 1100×1100 来放大的。这么做的好处是,在末了一步拼接时,块与块之间会有更好的衔接,整张图会更整体。
「工作流拆解和创建」
三重放大的根本思路是组合上面先容的四种放大中的背面三种,即:潜空间放大->分区放大->模子放大。这个组合顺序,从原理上来说可以总结为“潜空间重采样”、“像素空间局部模子放大”、“像素空间全局模子放大”。关于顺序分析如下:
如果把潜空间放大放在靠后的位置,它的重采样效果会破坏前置放大步骤为图像增添的细节和清楚度,因果关系就雷同“先贴漂亮的墙纸、再把墙砸掉、再砌一面更好的墙”。以是全部的潜空间放多数应该放在最前面。
区块放大本质上是局部模子放大,它不破坏整体结构和内容协调性,是在“潜空间放大”增长了画面丰富度后,进一步举行画面的细节精致化处理并添加更好的光影效果。以是紧跟着潜空间执行。
模子放大作为全局整体执行时,不添加任何细节,而是把看起来很“糊”的东西变得更加清楚,可以简单的明白为是在把尺寸放大的同时锐化整个画面。
「添加潜空间放大节点」
潜空间放大不需要把K采样器的结果举行解码,那么我们把底子工作流末了的VAE解码节点删除。之后添加两个节点:
新建 -> Latent -> Latent按系数缩放
新建 -> 采样 -> K采样器。
将原K采样器的Latent输出连接到新增的Latent按系数缩放节点的输入上,并将它的输出连接到新增K采样器的Latent输入上;将模子加载节点的模子输出连接到新增K采样器的对应输入上;将两个CLIP文本编辑器的输出连接到新增K采样器的对应输入上。
Latent按系数缩放和K采样器,完成“潜空间放大”
「添加区块放大节点」
区块放大节点需要额外下载,安装的“插件管理器”,搜索“ssitu”直接安装,大概从 GitHub 下载离线包后,解压到 ComfyUI_windows_portable\ComfyUI\custom_nodes 文件夹下
区块放大节点是一个特别大的节点,由于它傻瓜式融合了分块、区块模子放大、区块拼接、接缝重绘整合等多个步骤。区块放大节点的位置
新建->图像->放大->SD放大
有两点需要注意。第一,区块放大节点的输入差别于潜空间放大,它的输入不是Latent而是图像,以是我们要现在区块放大节点之前,增长一个VAE解码器,以便把前一步潜空间放大的结果转换为像素空间图像。第二,区块放大本质是模子放大,以是需要放大模子加持。我们直接从区块放大节点的“放大模子”输入点上用鼠标连线到空白处,在弹出的选项中选择“放大模子加载器”。
随后,将最前面模子加载节点的模子输出连接到区块节点的对应输入上;将最前面模子加载节点的VAE输出连接到区块放大节点对应的输入上;将前面两个CLIP文本编辑器的输出连接到新增K采样器的对应输入上。如许我们就连接好了区块放大节点。
为了简化教程,目前我们只需要关注分块宽度和分块高度。如果你的基模是SD1.5系列,这两个值为512或768。如果你的基模是SDXL、Pony或更高版本,这两个值至少是1024并且是64的整数倍。
这两个值什么意思呢?我们刚刚说过,区块放大就是把一张图,切割成多少子图,分别对子图放大后在拼接成大图。这两个值,就决定了切割出来的子图的大小,用一张图表示如下:
这是一张 2200×1400 的图,当我们设置分块为 1024×1024 时,图片大约会按照上面这个切分方式分为 2×3 的网格,并分6次局部执行局部模子放大。
上面是一个简化算法。实际的切分方法要更加复杂一些。为了确保子图与子图在终极拼接时具有更加丝滑的接缝过度,实际上分块与分块之间会重合,重合的宽度由叫做“接缝修复宽度”的参数控制。实际分块可视化后大概像如许:
「添加模子放大节点」
这一步就比较简单了,添加一个“图像通过模子放大”节点即可
新建->图像->放大->图像通过模子放大
将上一步区块放大节点的图像输出给到模子放大的图像输入,将上一步的放大模子加载其的输出,再拉一根线到模子放大节点的放大模子输入上,如许就完成了全局模子放大节点的搭建。
至此,我们就完成了三重超清放大工作流的全部搭建工作,这个工作流现在长如许,其中红框为“潜空间放大”,绿框为“区块放大”,黄框为“模子放大”,红框前面的部门是我们前面讲过的文生图绘图模子:
「放大效果」
「潜空间放大效果前后对比」
左:原图 右:潜空间重采样 眉毛纹理、睫毛根数和瞳仁深度得到细节加强
左:原图 右:潜空间重采样 珍珠重绘和高光加强
「区块放大效果前后对比」
左:上一步原图 右:区块放大结果 花蕊重绘细节加强
左:上一步原图 右:区块放大结果 鼻子高光、唇部高光
「全局模子放大前后对比」
左:上一步原图 右:模子放大结果 全局锐化
「附加题」
上面先容的是文生图三重超清放大工作流。末了,曾通过替换潜空间节点,将“文生图”进化为“图生图”。那么三重超清放大工作流用雷同方法调解后,就可以酿成任不测部图片的高分辨率修复工作流,比如做一个老照片修复。
为了资助各人更好地把握 ComfyUI,我在客岁花了几个月的时间,撰写并录制了一套ComfyUI的底子教程,共六篇。这套教程详细先容了
选择ComfyUI的来由、其优缺点、下载安装方法、模子与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、
ComfyUI配置指南
报错指南
环境配置
脚本更新
后记
…
二、ComfyUI底子入门
软件安装篇
插件安装篇
…
三、 ComfyUI工作流节点/底层逻辑详解
ComfyUI 底子概念明白
Stable diffusion 工作原理
工作流底层逻辑
必备插件补全
…
四、ComfyUI节点技巧进阶/多模子串联
节点进阶详解
提词技巧精通
多模子节点串联
…
五、ComfyUI遮罩修改重绘/Inpenting模块详解
图像分辨率
姿势
…
六、ComfyUI超实用SDXL工作流手把手搭建
Refined模子
SDXL风格化提示词
SDXL工作流搭建
…
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
不到断气不罢休
论坛元老
这个人很懒什么都没写!
楼主热帖
Spark的一些重要概念
从SAP ECC升级到SAP S4HANA, 几个Key P ...
手绘地图深度解析:类型、风格、功能、 ...
数据库设计员工管理系统
【Redis高手修炼之路】初学Redis——概 ...
MySQL触发器
从API到Agent:万字长文洞悉LangChain ...
【高效学数据库】第一范式、第二范式、 ...
19.HVV溯源
物联网无线数传通信模块设备常见的几种 ...
标签云
渠道
国产数据库
集成商
AI
运维
CIO
存储
服务器
快速回复
返回顶部
返回列表