前面分享了Stable diffusion文生图和提示词的内容,这次我们一起看下Stable diffusion的另一个重要模块:图生图
01、图生图概述
如果我们想用Stable diffusion生成这样的图片,利用文生图,应该怎样写提示词呢:
在这张图里,你能想到的关键词是:“树、山、河流、房子”,在文生图的过程中,要生成出这样一张符合期望的图片,不但有提示词,还须要对色彩、构图等多个方面进行细致的描述。只管你写下长长的一串提示词,可能仍旧难以达到你所预想的效果。
我们利用这些提示词生成的图片和原来的图片相差太大,达不到我们想要的效果,这时候我们怎么办呢?
有须要stable diffusion整合包以及提示词插件,可以扫描下方,免费获取
通过SD的图生图参考处理,我们不但可以向SD传达了生成图片的关键词信息,还可以提供一张图片作为参考。
即便只是利用简短的几个提示词,我们也能够轻松地生成一张与参考图片风格相近的图像:
然后利用重绘幅度这个参数来进行控制,数值越低,生成的图片越接近参考图:
数值越高,与参考图的差距也就越大,生成的图片画风也越接近你利用的模型。
01、图生图缩放模式
图生图的参数设置与文生图几乎一样。我们在把握了文生图之后,学习图生图将会变得异常轻松。与文生图相比,图生图在参数设置上增加了四种缩放模式的选择,这些模式专门用于解决生成图片与参考图片分辨率不匹配的问题。
为了解说方便,我临时将重绘幅度设置为0。
我们参考图像的分辨率为954x534,通过手动拖动尺寸滑块,界面上会表现一个赤色边框,便于我们判断生成图像的尺寸比例。
拉伸原图:当我将分辨率调整为1200x534,并选用拉伸作为缩放模式时,生成的图片将不再遵循原参考图的宽高比。因此,我们可以看到生成的图片宽度被拉长,而高度被压扁,以适应新的分辨率。
第二种缩放模式——裁剪原图,是在保持图像纵横比的同时,裁剪掉原始图像的多余部分并调整尺寸。如我们设置新生成的图像尺寸:1200X400,从生成的图片中我们可以看出,它相称于是在1200x534的原图上截取了一部分,并将截取后的图像调整为我们设置的大小。
第三种缩放模式——填充模式,可以看作是PS中的智能填充功能。它能够在保持图像纵横比的同时改变尺寸,并重新绘制空缺区域。但须要留意的是,这个模式须要搭配重绘幅度一起利用。由于我之前设置的重绘幅度为0,以是它只会进行拉伸。当我进步重绘幅度后,填充效果就显现出来了,填充效果相称不错。
重绘幅度为0,对原图片拉伸,拉伸的情况可以很显着看出
增加重绘幅度到0.2,多出的部分根据原始图像进行重绘,但重绘的幅度不大
最后一种缩放模式-仅调整大小 (潜空间放大)。与拉伸模式雷同,同样会改变原图的宽高比。不外,它在调整图片分辨率时利用了Upscaler算法。这个模式的利用频率相对较低。当重绘幅度为0时,虽然同样是拉伸效果,但这个模式生成的图片会显得比力含糊。搭配重绘幅度后,生成的效果会有所改善。
重绘幅度为0
重绘幅度0.2,重绘幅度调整的不大,重绘的效果不显着
在同样的参数下,利用差异的模式效果会有所差异。具体选择哪一种缩放模式,可以根据个人喜好和需求来决定。
02、反推提示词
在图生图界面中,有两个用于反推提示词的功能选项,Clip和DeepBooru。这2个SD自带的根据图片反推工具相对WD14-Tagger效果可能没那么美满,但兼容性好,我早期安装WD14-Tagger出现SD无法运行的问题,排查了好久也没查出来原因。
Clip反推提示词能够生成简短的句子,其重点在于揭示画面中各个对象之间的关联与互动:
而DeepBooru反推提示词则倾向于输出单个词汇,其焦点在于描画对象的独特特性,这一模式在描画人物特性时尤为出色:
这2种反推提示词分析原图反推时,都会出现反推的场景不准,提示词错误问题,还须要人工进行修正。联合这两种反推提示词的差异特点,我们可以将它们联合利用,从多张图片中反推出提示词,并在图生图或文生图的过程中进行筛选与实验应用:
03、更改画风小技巧
前面我们讨论重绘幅度数值的意义:数值越低,生成的图像越接近参考图;数值越高,则越贴近我们所用的模型风格。
如果我希望在保存参考图构图等元素的同时,又想要改变其画风,应该如何操作呢?既要…又要…,2个方面都要满意,太难了
操作方法来了:在文生图和图生图的生成框下方,都设有将已生成的图片再次发送到图生图、局部重绘和附加功能面板的选项。
我们先文生图生成个校园美女,然后把它转换成2.5D。具体方法:在文生图,输入提示词:a girl,campus,选择一个写实模型:MajicMixRealistic_V7
把这个照片和参数发送到图生图
在图生图中切换一个2.5D模型,重绘幅度调整为0.3
再将新生成的图片发送到图生图进行进一步的处理。
这个过程我会重复多次,每次都会从生成的图片中选择一个最得当的作为下一次生成的参考图。
重复这个操作大约5次左右,就能得到一张相对满意的图片了。
04、图生图绘图
在图生图功能的旁边,有一个绘图功能,相较于图生图,它的参数设置多了画笔以及画笔颜色的调治选项,这答应用户在参考图的基础上进行直接的编辑操作。
比如说,我现在想让女孩的部分头发变成黄色。直接在提示词添加黄色头发,效果可能并不尽如人意。
调整黄色头发提示词的权重到1.6,生成的女孩头发有黄色的部分,效果还可以
如果你只想头发中一部分变成黄色,修改提示词权重的方法就不行了,我们可以可以利用画笔工具,直接将头发部分涂成黄色,然后再次进行生成,就能得到一个拥有部分黄色头发的女孩了。
直接实现部分黄色头发的精准控制,好像有点难度,调整了多次,实现精准控制效果稍微有点不理想。但如果在头发部位加蝴蝶结效果就比力好。
这篇文章主要是说明和文生图不一样的参数,如果相同的参数,功能利用基本一样,如果有不明白的,可以参考对应的文生图部分。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小同伴们一点帮助!
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到得当自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
零基础AI绘画学习资源介绍
|