Stable Diffusion WebUI从入门到精通（十一）
第二十九部分 Layer Diffusion29.1 概述
Layer Diffusion是一种在图像天生过程中，通过分层处理惩罚差异部分以实现更细致和高质量图像天生的方法。该技术可以有用地减少天生图像中的瑕疵，并进步整体图像的细节体现力，也可以直接天生各类透明配景的PNG素材图。通过Layer Diffusion，我们就可以一定程度解决AI生图后必要大量的后期处理惩罚等工作内容。和一些智能抠图工具差异，它在天生时候就直接通过运算天生了透明配景的图片，以是它能将各类细节乃至是人物的毛发都能天生的细致分明。它可以只天生远景，也可以只天生配景，乃至可以配景和远景同时天生并分图层将画面组合在一起。
29.2 工作原理
Layer Diffusion通过将图像天生过程分解为多个层次，每个层次处理惩罚图像的一部分。如许可以对每个层次应用差异的天生存谋，以确保最终图像的每个部分都能到达最佳效果。该过程包括以下步调：
图像分层：将输入图像分解为多个层，每个层代表图像的差异部分或特征。
单层处理惩罚：对每个层分别应用天生模型，进行图像天生或增强处理惩罚。
层间融合：将处理惩罚后的各层重新组合，形成完备的高质量图像。
29.3 安装和部署
固然Layer Diffusion理论上属于Stable Diffusion WebUI中的一个插件，但目前它还不能直接运行在Stable Diffusion WebUI中，而是必要安装在Stable Diffusion ForgeUI中，以是我们起首要下载和安装Stable Diffusion ForgeUI。
下载地址：
GitHub - lllyasviel/stable-diffusion-webui-forge
下载后解压缩即可，实行"run.bat"即可启动，但每次在启动前，务必先运行"update.bat"更新一下。
https://i-blog.csdnimg.cn/img_convert/267fc90bd44d15effe9119e48c81bb3f.jpeg
默认运行后是本地地址"127.0.0.1:7860"，必要修改成网络地址和更改端标语的小伙伴可以用记事本打开webui目次下的"webui.bat"文件的内容，找到":launch"这部分的代码，在代码"%PYTHON% launch.py%*"内添加" --listen --port 7880"，如图所示。
https://i-blog.csdnimg.cn/img_convert/999351e105bc46609f590c6050d4b345.jpeg
和Stable Diffusion WebUI一样，在webui目次中的extensions文件夹内是安装插件，embeddings文件夹放置embeddings模型，models文件夹放置checkpoints、Lora、hypernetworks等模型，大家可以把Stable Diffusion WebUI目次内的模型和插件都复制过来，可以在ForgeUI中使用。
https://i-blog.csdnimg.cn/img_convert/40827e610ea48b0e99996e5d8da02ee3.jpeg
最紧张的是我们必要下载并安装Layer Diffusion插件。
下载地址：
GitHub - lllyasviel/sd-forge-layerdiffuse: Layer Diffusion for WebUI (via Forge)
下载后解压缩在extensions文件夹内即可。
https://i-blog.csdnimg.cn/img_convert/cde358ec44cf88f49849e55332ab876e.jpeg
Layer Diffusion的模型我打包在网盘中，大家可以自行下载后将文件放在webui\models\layer_model文件夹目次中
下载地址：
百度网盘 请输入提取码
https://i-blog.csdnimg.cn/img_convert/1b2cc66524ac8728b511e52a452a4ca2.jpeg
另外使用Layer Diffusion必要用到大模型stable-diffusion-xl-base-1.0，放置位置在webui\models\Stable-diffusion文件夹目次中
下载地址：
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main
https://i-blog.csdnimg.cn/img_convert/46c1477fb0bdb87fea1760f54be37a26.jpeg
准备工作全部完成后，点击"run.bat"启动，第一次启动时候会下载和安装各类环境，如果你安装了很多插件和模型的话也会加载和更新下载全部须要的支持，会比较慢，必要耐烦等待，等看到类似"Running on local URL: http://0.0.0.0:7880"的字样后代表ForgeUI已经成功启动了。
https://i-blog.csdnimg.cn/img_convert/b4c719962abac590575932b6d22d815d.jpeg
AIGC全部方向的学习门路思维导图
这里为大家提供了总的门路图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，包管本身学得较为全面。如果下面这个学习门路能资助大家将AI利用到自身工作上去，那么我的使命也就完成了： https://img-blog.csdnimg.cn/9a0b0ec5d03d4b15887a73aafb1df595.png
AIGC工具库
AIGC工具库是一个利用人工智能技术来天生应用步伐的代码和内容的工具聚集，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC https://img-blog.csdnimg.cn/5d865b64bad84eb4bef3a76e41df5f73.png
有必要的朋侪，可以点击下方卡片免费领取！
精品AIGC学习书籍手册
书籍阅读永不外时，阅读AIGC经典书籍可以资助读者进步技术水平，开辟视野，掌握核心技术，进步解决题目的能力，同时也可以鉴戒他人的履历，结合自身案例领悟贯通。
https://img-blog.csdnimg.cn/b4a1e8708e99489ca74d029d610133b9.png
AI绘画视频合集
我们在学习的时候，每每书籍源码难以明白，阅读困难，这时候视频教程教程是就很恰当了，生动形象加上案例实战，科学风趣才能更方便的学习下去。
https://img-blog.csdnimg.cn/5111b7615a994761bf8beebed63fab9b.png
这份完备版的学习资料已经上传CSDN，朋侪们如果必要可以微信扫描下方CSDN官方认证二维码免费领取【包管100%免费】
https://i-blog.csdnimg.cn/direct/e132cb1d18904a66840aec38e47577d6.png
我们只要在浏览器中输入IP地址加端标语就能访问使用了，如果是本机的话直接输入127.0.0.1加端标语即可（如127.0.0.1:7880）。
https://i-blog.csdnimg.cn/img_convert/ec18953b57f47fa87bc385e61d5a6be4.jpeg
29.4 Layer Diffusion的根本使用
起首，在文生图的下面下方找到LayerDiffuse模块，勾选开启，方案选择"(SDXL)Only Generate Transparent Image(Attention Injection)"(只天生透明配景的图片)。
https://i-blog.csdnimg.cn/img_convert/4ae9125df0438f70297d83caf44a8c6b.jpeg
然后选择stable-diffusion-xl-base-1.0大模型，在提示词框内输入你想要天生的内容，比如"a Sports Car"
https://i-blog.csdnimg.cn/img_convert/538f1b04800a21490c80da73d6684c28.jpeg
调解合适的分辨率后点击天生，它便天生了两张图片，第一张是预览图，第二张便是透明配景的PNG图片，我们可以直接下载使用。
https://i-blog.csdnimg.cn/img_convert/28233198dfcddf4ebe3d000fc65990d0.jpeg
我们也可以天生更为细致的人物图片。
示例
正向提示词：
[*]
[*]
best quality,ultra-detailed,masterpiece,hires,8k,raw photo,(photorealistic:1.4),1girl,(solo),Messy hair,ligh beige hair,blue eyes,cat ears,(cat girl:1.1),parted lips,hair between eyes,(low twintails:1.2),long hair,hair ribbon,hair ornament,smooth skin,bowtie,china dress,qi lolita,white thighhighs,standing,upper body, 反向提示词：
[*]
NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),
https://i-blog.csdnimg.cn/img_convert/116580b32c3120853058c4caf4e5ae6b.jpeg
LayerDiffuse不但能够天生这种轮廓清晰的透明PNG图片，也可以天生一些半透明的PNG素材。
示例
正向提示词：
[*]
[*]
best quality,ultra-detailed,masterpiece,hires,8k,raw photo,(photorealistic:1.4),A transparent glass bottle, 反向提示词：
[*]
NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),
https://i-blog.csdnimg.cn/img_convert/2a4b79a90e2fa9f82d11dbc9fb3b0727.jpeg
这个透明的玻璃瓶是真的完全透明的，可以运用在差异的素材中。
https://i-blog.csdnimg.cn/img_convert/e0aedfb1573050ab4604c2997effec40.jpeg
我们也可以使用SD1.5的其他的大模型来天生各种风格的图片，但在使用这些大模型时候也务必在LayerDiffuse模块中选择适用SD1.5的模型哦。
https://i-blog.csdnimg.cn/img_convert/cdf96e02a83f76088d560aba9a7dea72.jpeg
示例：天生火焰之剑
正向提示词：
[*]
A flaming sword,high quality,best quality,masterpiece, 反向提示词：
[*]
NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))),
https://i-blog.csdnimg.cn/img_convert/1fd84e44efeb79ce665968c94da6b60e.jpeg
可以看到火焰部分的描画也好坏常细腻的。
我们也可以使用它来天生动漫人物脚色。
https://i-blog.csdnimg.cn/img_convert/e14d6a048f82a39525b4a68602c55703.jpeg
建筑场景。
https://i-blog.csdnimg.cn/img_convert/e726701eeb494832d20f5222960e68f8.jpeg
产物设计。
https://i-blog.csdnimg.cn/img_convert/1d9037eb22f26a3f35c5513a8a912fd3.jpeg
29.5 Layer Diffusion的进阶使用
Layer Diffusion的菜单中，包括我们之前用到的"(SDXL)Only Generate Transparent Image(Attention Injection)"，目前有十个选项，你第一次运行某个选项时，配景会自动进行模型文件的下载，必要稍等一会儿。
https://i-blog.csdnimg.cn/img_convert/018d8f1bb34fe38c4967ff9440f52ac0.jpeg
其中"SDXL"开头的选项适用于sd_xl_base_1.0的checkpoint大模型。其中，"(SDXL)From Foreground to Blending"是根据远景(Foreground)补全配景(Background)。
我们可以导入一张远景图。
https://i-blog.csdnimg.cn/img_convert/5abc304829403922e93cf2a47fd9cef4.jpeg
输入包括人物和配景的完备提示词，比如：
正向提示词：
[*]
[*]
[*]
best quality,ultra-detailed,masterpiece,hires,8k,raw photo,(photorealistic:1.4),1girl,(solo),ligh beige hair,blue eyes,cat ears,(cat girl:1.1),parted lips,hair between eyes,(low twintails:1.2),long hair,hair ribbon,hair ornament,smooth skin,bowtie,china dress,qi lolita,white thighhighs,standing,upper body,On the playground,Teaching Building,grassland,Flowers, 反向提示词：
[*]
NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))), 点击天生，就会根据你的提示词天生配景，并且组成一张完全的全景图，注意尺寸必要和原图同等。
https://i-blog.csdnimg.cn/img_convert/c695b4b53ab3ed580d5167592edf7ee1.jpeg
如果你必要的只是这幅图中的配景图的话，那只必要将Layer Diffusion中的选项更改为"(SDXL)From Foreground and Blending to Background"，左侧的"Foreground"中照旧加载远景图，然后将刚刚天生的全景图加载到右侧的"Blending"中。
https://i-blog.csdnimg.cn/img_convert/6a10fd6ec85ccb2e3bab72a04e6eb316.jpeg
然后把提示词中关于人物的描写去掉，调解同等的尺寸，点击天生，便能天生一张去掉人物的配景图。
https://i-blog.csdnimg.cn/img_convert/2c528d1a236c2bb75f35b829d75bed69.jpeg
同样，我们也可以利用"(SDXL)From Background to Blending"来根据配景补全远景。我们加载一张配景图片。
https://i-blog.csdnimg.cn/img_convert/71548c20a9564fc8afb58e3a6172a4b0.jpeg
然后在提示词中输入你盼望在这张配景中呈现的远景内容，比如加入"A man walking down the street"：
正向提示词：
[*]
[*]
best quality,ultra-detailed,masterpiece,hires,8k,raw photo,(photorealistic:1.4),A man walking down the street 反向提示词：
[*]
NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(badproportions:1.331),extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extraarms and legs))), 输出尺寸调解为和原图同等，点击天生。
https://i-blog.csdnimg.cn/img_convert/be9b83e369153eb5539fe6b8681b0559.jpeg
就目前阶段而言，这个功能对原图的空调治解还不够，以是天生出来的人物比例和原图的结合可能还不够完善。可能直接天生透明配景的人物后再手动调解巨细放进配景图中会来的更有用率。
接下来就是"(SDXL)From Background and Blending to Foreground"，意思是输入配景图和全景图，天生远景图。在"background"中加载配景图，在"blending"中加载全景图。
https://i-blog.csdnimg.cn/img_convert/b5e6aa552d40ef505ad0b40415fcb875.jpeg
提示词中输入相关的提示词，并且尺寸调至和原图同等，点击天生即可。
https://i-blog.csdnimg.cn/img_convert/eb8b8148ebaae94f560777d8fad371a7.jpeg
"(SDXL)Only Generate Transparent Image(Attention Injection)"和"(SDXL)Only Generate Transparent Image(Conv Injection)"的区别是，前者基于注意力层练习，后者基于卷积层练习。
扩展知识：
注意力层（Attention Layer）
什么是注意力层？
注意力层是一种神经网络层，用于捕捉输入数据中差异部分之间的关系。它通过计算输入序列中每个元素的紧张性得分（注意力权重），然后将这些权重应用于输入序列，产生加权和的输出。注意力机制在自然语言处理惩罚（如机器翻译）和图像处理惩罚（如图像天生）中非常盛行，由于它能够有用地捕捉长隔断依靠关系。
常规注意力层的工作原理
计算注意力权重：使用输入的查询（Query）、键（Key）和值（Value）向量计算注意力权重。
加权求和：将注意力权重应用于值向量，得到加权和的输出。
卷积层（Convolutional Layer）
什么是卷积层？
卷积层是卷积神经网络（CNN）的核心组件，广泛用于图像处理惩罚。卷积层通过卷积操作提取输入数据中的局部特征。卷积操作使用一个或多个滤波器（卷积核）在输入数据上滑动，产生特征图。卷积层擅长捕捉局部空间特征。
卷积层的工作原理
卷积操作：使用卷积核在输入数据上滑动，进行点积运算，产生特征图。
非线性激活：将卷积效果通过非线性激活函数（如ReLU）处理惩罚，增加模型的非线性能力。
两种注入技术的区别
注意力注入（Attention Injection）
描述：在天生透明图像时，使用注意力机制将相关信息注入到图像天生过程中。
适用场景：注意力注入通常用于必要捕捉长隔断依靠关系和复杂上下文的任务。
长处：能够捕捉输入数据中差异部分之间的复杂关系，恰当处理惩罚具有高度依靠关系的输入数据。
卷积注入（Conv Injection）
描述：在天生透明图像时，使用卷积层将相关信息注入到图像天生过程中。
适用场景：卷积注入适用于捕捉局部特征的任务，如图像中的边沿、纹理等。
长处：擅长提取局部空间特征，计算效率高，恰当处理惩罚大规模图像数据。
总结
注意力注入 适用于必要捕捉长隔断依靠关系和复杂上下文的任务，恰当天生具有高度依靠关系的图像。
卷积注入 适用于捕捉局部特征的任务，计算效率高，恰当处理惩罚具有明显局部特征的图像。
选择哪种注入技术取决于详细的图像天生需求和输入数据的特征。根据作者保举，实践中注意力层的体现会更好。
除了SDXL的方案，剩下的方案都是底子SD1.5相关的模型练习出来的，根本上里面每一项对应的原理和SDXL相似，如果使用这些Layer Diffusion模型，那对应的checkpoint大模型也要选择SD1.5对应的(就是我们之前下载的那些常用大模型)。但其中"(SD1.5)Generate Everything Together(need batch size 3)"选项为直接天生包含远景、配景、全景的组合图。
示例：
选择这个选项后，一次会输出3张图，以是必要把"Batch size"(单批数目)设置为3或3的倍数，然后在Layer Diffusion模块中的"Foreground Additional Prompt"内输入远景的额外提示词、在"Background Additional Prompt"内输入配景的额外提示词、在"Blended Additional Prompt"内输入全景的额外提示词，而在正向和反向提示词内仅需输入画质部分的起手式提示词即可。
https://i-blog.csdnimg.cn/img_convert/e4c7098a2df65ad9a503ff15d2ee7a90.jpeg
比如：
Foreground Additional Prompt：1girl,red dress,whole body,
Background Additional Prompt：street,shops,buildings,trees,
Blended Additional Prompt：a girl walking on the street,
正向提示词：
[*]
best quality,masterpiece,Exquisite facial features 反向提示词：
[*]
worst quality,text,ugly,(deformed ris,deformed pupils),worst qualty,low qualty,jpeg artifacts,ugly,duplicate,morbid,mutilated,(extra fingers),(mutated hands),poorly drawn hands,poorly drawn face,mutation, 点击天生，便可以天生包含远景图、配景图、全景图的一套素材图了。
https://i-blog.csdnimg.cn/img_convert/ad4f2d67ddc3084f81a64dea927a5c41.jpeg
29.6 Stable Diffusion ForgeUI的拓展
对于Stable Diffusion ForgeUI来说，它险些和Stable Diffusion WebUI是同样使用的，我们也可以勾选高分辨率修复等选项来天生更为精致、符合本身需求的图片。也可以使用Lore，Hypernetwork等模型来天生图片。
https://i-blog.csdnimg.cn/img_convert/9c96c027a51531e0e9b71b192cd66d24.jpeg
另外最新版本的Stable Diffusion ForgeUI也以将支持ControlNet插件，我们也可以在ForgeUI中使用ControlNet了，可以根据我们的姿势引导天生透明的人物图片。必要注意的是图片分辨率建议是1024*1024，提示词不能过长，并且必须使用SD1.5的模型。
https://i-blog.csdnimg.cn/img_convert/ae53b8ce20a644c33905663e5e182ad5.jpeg
这份完备版的学习资料已经上传CSDN，朋侪们如果必要可以微信扫描下方CSDN官方认证二维码免费领取【包管100%免费】
https://i-blog.csdnimg.cn/direct/e132cb1d18904a66840aec38e47577d6.png
我们一般天生的图片都会自动保存在webui\output文件夹内，但天生的透明底的PNG文件不会，以是你天生出你必要的图片时务必手动下载保存下来。
https://i-blog.csdnimg.cn/img_convert/b1546d04530b916aaff658b3a936661f.jpeg
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]