AI绘画Stable DIffusion从lora应用到lora训练：看这一篇就够了
大家好，我是步伐员晓晓今天给大家先容一下怎样举行Lora训练，制作本身的电子老婆。
什么是lora？
在官网的表明说明中：「A LoRA is a type of training method for fine-tuning Stable Diffusion models.」
https://i-blog.csdnimg.cn/blog_migrate/1bb796d22117de6e825c1c90117609d9.png
什么意思？
这里引入了一个 fine-tuning 概念，也叫做“微调”训练，
那什么是微调训练呢，假设我们想训练一个图像模型来天生我们本身相似的图像。
从头开始训练模型对大多数人来说将黑白常昂贵和令人望而却步的。
与其从头开始训练新模型，我们可以重用现有模型作为起点。
我们可以采用像 Stable Diffusion v1.5（其其他DreamBooth模型也可以） 如许的模型，并在」 更小的数据集**「（我们的图像）上对其举行训练，创建一个模型，该模型同时擅长天生真实图像的广泛任务和」** 天生我们相似图像的狭窄任务。
「相」 比较DreamBooth（也就是我们常说的大模型），LoRA 「具有更快的训练过程的上风， 更低的 GPU 要求， 和更小的输出」。常常运用于训练特定的画风或人物等。
Lora的用途非常广泛，常见的用法一般有：质量改进（例如细节调整器）、风格/美学、人物或人物、衣服或物品等等。
下面是在是否利用lora的情况天生的一些照片：
https://i-blog.csdnimg.cn/blog_migrate/36a2e355de7de520d45ac9b9d54da0a2.png 无lorahttps://i-blog.csdnimg.cn/blog_migrate/34aaf9a1502e5cf82c9d57835a23c95a.jpeg
彩绘lora
https://i-blog.csdnimg.cn/blog_migrate/635b83809a23a3c0bd32b4bf3f0aa71c.jpeg 无lorahttps://i-blog.csdnimg.cn/blog_migrate/085d3a723e3d87981438308bedc74034.jpeg
汉服lora
https://i-blog.csdnimg.cn/blog_migrate/7425226212944022692a7110d957ea73.jpeg
无Lora
https://i-blog.csdnimg.cn/blog_migrate/760f8b4dc24b30f45c88940a531a2a3b.jpeg 线线稿Lora
简而言之，通过lora和大模型的搭配利用，我们可以实现不同的效果。
lora的下载与基础利用
在那边下载lora：
能科学上网的童鞋可以直接去C站下载Lora模型，c站右侧可以筛选对应的模型分类
https://i-blog.csdnimg.cn/blog_migrate/3e1138e517a28c020af53e45ee725477.png
需要下载哪个lora直接点进去下载即可
https://i-blog.csdnimg.cn/blog_migrate/c52e54890a57c39bcb5f4771a3e4dfa1.png
不能科学上网的童鞋可以在LibLib举行lora下载，方式和上述根本同等
https://i-blog.csdnimg.cn/blog_migrate/2e70edbf72d378c28241f7c533d0e437.png
Lora的根本利用：
在webui中我们一般可以通过三种方式来利用Lora。
直接通过点击lora模型来生效（推荐利用）：
[*]在我们webui右侧有这么一个按钮，点击它可以打开我们的扩展模型
https://i-blog.csdnimg.cn/blog_migrate/a85d1935bdf095c6d6e2084a551cae96.png
[*]然后我们会展开如下界面，这时我们点击lora模型来利用它
（注：全部的模型种类都可以在对应存储位置下建立文件夹，然后做好分类，如许我们在利用的时间更加清晰明白）
https://i-blog.csdnimg.cn/blog_migrate/baee04bfff4c992a887786ba732649b0.png
[*]点击某个Lora后会在提示词框内展示，背面的1是lora对应的权重，可以按照C站上给出的建议来举行调整。
https://i-blog.csdnimg.cn/blog_migrate/ccc8cea2c30079d053f6d71c6b207f6c.png
在提示词框内自行输入：
[*]我们在提示词框内输入 <l: 时会自动为我们模糊匹配对应的lora信息，直接选择需要的即可。
https://i-blog.csdnimg.cn/blog_migrate/be7e5cfde6a168029b017f86a95dcc07.png
结合Additional Networks：
[*]WEB-UI界面中可以通过Additional Networks来选择需要的lora，如果没有先点击革新模型列表。需要注意的是Additional Networks是需要在扩展中安装的，秋叶包自带了，如果你没有可以在扩展中搜索Additional Networks举行下载即可。注意：利用这种方式不会在提示词框内显示lora关键词。
https://i-blog.csdnimg.cn/blog_migrate/6366cb09f4e20e23b1efde5ca9b18692.png
image.png
❝
现在这种方式利用的比较少，还是推荐第一种，服从更高些。不外第三种方式一般会结合一些脚本举行利用，好比xyz脚本
❞
应用实践：
lora可以单独利用，也可以组合利用的，通过不同的组合来实现不同的效果
[*]「脸模+盲盒」
Prompt:
best quality,masterpiece,(photorealistic:1),(realistic:1.2),1girl,front view,looking_at_viewer,
https://i-blog.csdnimg.cn/blog_migrate/32d76d64bdd529760ea51667375ad0b1.png
加上：lora:女性脸模taiwanDollLikeness_v20:0.8,
https://i-blog.csdnimg.cn/blog_migrate/76db3e90dc265c61098d618f522d2101.png
再加上：lora:blindbox_v1_mix:1,full body, chibi,
https://i-blog.csdnimg.cn/blog_migrate/7eb5ea00db504dca5c05f0e5a4ce0cac.png
[*]「机甲lora+霓虹灯lora」
Prompt:
1girls,
mecha,mech clothes,Glowing muscle lines,robot,
(masterpiece, best quality, high quality, highres, ultra-detailed),
https://i-blog.csdnimg.cn/blog_migrate/94bec1f2ef8dc7503300eba2c57da599.png
加上机甲lora（这个lora有触发词）:
mecha musume,mechanical parts,robot joints,headgear,<lora:AMechaSSS:0.8>,
https://i-blog.csdnimg.cn/blog_migrate/c5077e9b812e7aeb548e0d3a6651ad34.png
再加上霓虹灯Lora:
CyberpunkAI,neon,lora:CyberPunkAI:0.8,
https://i-blog.csdnimg.cn/blog_migrate/a8a24c9f8670050c7dc0a7946fda678a.png
❝
这里举了两个例子，详细的应用大家可以本身先去尝试下，背面会单独出几期商业化实战案例的讲授。
❞
容易出现的题目：
我明明利用了Lora，为什么没有效果。很多初学者在利用Lora的时间通常会遇到明明**「利用了Lora却没有生效」**的题目。
出现这种情况的缘故原由一般有以下几种：
[*]你利用的lora是要求**「有触发词」**的：
一些lora在训练时参加了触发词，你可以简朴理解为就是给lora起了名字，喊这个名字的时间别人就知道用了什么lora。
那怎么知道用了**「什么触发词」**呢？
可以直接到C站你下载的lora模型查看大概直接利用C站助手，下载C站助手我们可以下载模型的预览图，然后我们就可以通过点击预览图上的第三个标签来自动参加当前模型的触发词。
（关于C站助手的下载可以看文末扫描获取）
https://i-blog.csdnimg.cn/blog_migrate/15ac469ca1f091d9574c03d36128d403.png
https://i-blog.csdnimg.cn/blog_migrate/fb8e0f94be3c68310af1108d7cfc3164.png
❝
注意：利用C站助手时要科学上网
❞
[*] Lora 「权重不敷」，可以适当的调整Lora权重，可以按照lora作者的建议来举行调整
[*] 「大模型的影响」，现在一些大模型的训练其实是 「过拟合」 的（可以理解为训练过度了），导致lora对它的影响比较小，这个时间可以通过 「更换大模型」 来解决这个题目，一般像chilloumix的泛化性就体现不错。
怎样训练一个属于本身的lora
上面我们叙述了lora的根本利用，还是很简朴的。那么如果我们想要的lora在C站上没有怎么办，我们是不是可以训练一个属于本身的lora。然后也可以开放出去给别人利用。
下面咱们就开始Lora训练的学习吧，这里的lora训练我将以秋叶大佬的lora整合包来举行训练，非常适合小白入门。
近来热播大剧长相思很火，不知道大家有没有看过，然后身边一些人被长相思中的涂山璟圈粉了，所以本次教程咱们就以涂山璟为例作为讲授。训练一个涂山璟的脸模。
「因为涉及到公众人物，这里谨慎声明：只做讲授利用，不允许商用！！！」
训练前的准备工作：
❝
涉及的软件我都放在网盘内了，通过文末扫描获取。
❞
准备素材：
「1、准备多少张素材合适？以下是一些经验值。」
人物Lora：20张左右
场景修建类：120张左右
「2、怎样选材？什么样的素材适合于你的lora训练呢？这里以脸模为例，下面是我们选材要考虑的点。」
[*] 不同的面部表情
[*] 构图角度（面部特写，半身照，近景，远景，正面，侧面）
[*] 灯光（明光、暗光）
[*] 图片质量（能够清晰的体现出人脸特征即可）
因为训练的是脸模，所以我们选取的素材的考虑就是基于不怜悯况下脸的体现情势，确定了这些，我们就大致知道了我们需要什么样的图片。
素材裁剪：
先本身批量获取某个人物的形象照片，然后批量裁剪，生存到你本地。我这里裁剪为了768*768。你可以根据需要举行裁剪，一般512*512就可以了。
安装整合包
[*]下载下来后更新一下版本（整合包在文末领取）
https://i-blog.csdnimg.cn/blog_migrate/abef8ca3795407ef6a703763293e773c.png
[*]放入你的素材图片
❝
这里的tsjv1是我任意起的名称，然后在tsjv1下再新建一个文件夹，这个文件夹有一定的起名规则。按照 数字_名称。
前面的数字表示每张图片要训练的步数，背面的名字可以本身起。一般脸模就起名face，身体就起名body。如许更好辨识。
将你的素材图片放入这个文件夹下（我这里就是：E:\AI\sdTools\lora-scripts-v1.5.1\train\tsjv1\30_face）
❞
https://i-blog.csdnimg.cn/blog_migrate/6e8d848ebfaf0fca3256b30bdbec00d8.png
开始训练
打tag：
你可以理解为图片上的特征信息，像我们平时天生图片所编写的提示词其实就是一个个的tag。它通过标签化来标明一张图片中所包含的信息。
[*]打开启动脚本
https://i-blog.csdnimg.cn/blog_migrate/b1b74befcb5d319beeb6df1dd4aa4e82.png
[*]通过WD标签器自动打标
path就是你刚刚数字_名称那个图片的路径。
threshold表示阈值标准，一般调整为0.35。它的意思就是通过算法模型训练的tag效果中，保存阈值大于0.35的tag。
additional_tags表示附加的提示词，一般是lora的触发词。你也可以不写，我这里就填写tushanjing,solo,
设置完成后点击启动
https://i-blog.csdnimg.cn/blog_migrate/f51260256f64d2c2850a3e5931073acc.png
[*]等待一会，训练结束后会天生对应的图片同名的标签文件
https://i-blog.csdnimg.cn/blog_migrate/677a937db6176292b11634d905924f06.png
[*]优化tag
利用BooruDatasetTagManager批量优化tag，通过文件导入我们的素材目录。
优化tag是一个重要而繁琐的事情，这里需要注意的点是因为我们训练的是脸模，所以我们要保存人物的脸部特征，那我们就可以不需要五官类的形貌词。
怎么理解呢？举个例子，好比人物脸部识别出来的tag是：tushanjing、1boy、long hair、blue eyes、roman nose。
当我们把五官类的形貌删除后，人物的特征就和tushanjing、1boy如许的tag绑定在一起了。当利用tushanjing、1boy如许的tag，形貌的就是这个人物的脸部特征。如果我们保存了五官的形容，泛化性会变好，但效果可能就是和要训练的人物不像
https://i-blog.csdnimg.cn/blog_migrate/958cb0532475a2435abfcda0238b0b1f.png
设置参数与训练：
[*]优化tag完回到启动器页面，配置一些参数
关于这些参数的含义由于篇幅缘故原由和复杂水平我会在背面的高级篇单独说明，你可以先按照我的配置。
这里有几个要注意的地方：
1、底模的文件路径一定要准备到详细的文件名，不要包含中文
2、训练集路径可以是相对路径，也可以是绝对路径。按照你的实际目录修改
3、图片的尺寸设置，如果你的呆板配置不错的话可以设置为768*768。一般就是512*512就可以了。我准备的图片素材是768*768，所以这里也填写了768*768
4、网络维度设置我这里改成了64*64，不同的维度会决定最终的模型文件大小。
5、这里的keep_tokens我标注为2，因为我有两个触发词。
https://i-blog.csdnimg.cn/blog_migrate/ca6d22309210042d400ff967fda357bf.png
https://i-blog.csdnimg.cn/blog_migrate/71653e4c7078d6a32931b810cb369a53.png
[*]设置完成后直接点击开始训练，根据你的电脑配置训练速度有所不同
https://i-blog.csdnimg.cn/blog_migrate/75399849cde2d5cebbf66ea3e84cb0eb.png
image.png
[*]训练完成后控制台会提示，训练完成的生存生存在output目录下
❝
这里我们可以看到loss这个值，一般来说保持在0.085上下是个不错的效果。我这里没有优化tag和调整其他参数，这个值有点偏高了。
❞
https://i-blog.csdnimg.cn/blog_migrate/d0a67a168a978cb247cd2b0e73b1b1cf.pnghttps://i-blog.csdnimg.cn/blog_migrate/f87d6c8a4c763c48c8028885bd31bc4c.png
验收获果：
[*]看看训练的效果怎么样，把output中的几个模型文件移动到我们本地的lora文件夹目录下，然后开启Additional network和xyz脚本。
填入提示词：https://i-blog.csdnimg.cn/blog_migrate/ff108596b03ca7f8ee5eb35f45abbda3.png
填写根本参数信息和启用Additional Networks（填写一个就可以了）：https://i-blog.csdnimg.cn/blog_migrate/d057e18d05781053ddd672abf4637ef1.png
打开xyz脚本，X轴输入我们训练的5个模型，Y轴填入权重。https://i-blog.csdnimg.cn/blog_migrate/b976370bf195a00f6a4485650a26cda0.png
[*]最终效果
可以通过xy轴的厘革选择你最喜欢的模型，界说合适的权重。
我这个效果没到达预期，哈哈，主要搜索的素材其实没有那么符合要求，参数和tag上也没怎么调整。
今天主要带大家入个门，下期我会从素材到最终参数的调整做一期完备的讲授，再来看看优化后的效果。
https://i-blog.csdnimg.cn/blog_migrate/4e45869a1caa39c355bf853034f86823.jpeg
一个小案例：
结合我们上面说过的多lora利用，我们来做一个涂山璟的盲盒吧。
https://i-blog.csdnimg.cn/blog_migrate/11c1ee79862644ef4e0df4334ba8da34.png
这个还是蛮可爱的，哈哈~
https://i-blog.csdnimg.cn/blog_migrate/0de1e099ce0cbb6e05ec25617b3d5a74.png
总结：
到这里lora的根本利用和lora的模型训练就讲完啦，渴望对你有所劳绩。
大家可以本身先试一试，练成本身的第一炉仙丹~
因为考虑到一些软件的更新，我把本地的卸载掉重新安装的，如许至少在这个时间节点上和大家是保持同等的，如果你以为对你有所帮助，不妨点个关注吧，非常感谢~。
写在末了
感爱好的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，详细看这里。
https://i-blog.csdnimg.cn/blog_migrate/cf90006732844f56a43cb3afb6da40bf.png
AIGC技能的未来发展前景广阔，随着人工智能技能的不停发展，AIGC技能也将不停提高。未来，AIGC技能将在游戏和计算范畴得到更广泛的应用，使游戏和计算体系具有更高效、更智能、更机动的特性。同时，AIGC技能也将与人工智能技能细密结合，在更多的范畴得到广泛应用，对步伐员来说影响至关重要。未来，AIGC技能将继续得到提高，同时也将与人工智能技能细密结合，在更多的范畴得到广泛应用。
https://i-blog.csdnimg.cn/blog_migrate/3b493dae03405c0a81bcf0e1be79db2e.png
一、AIGC全部方向的学习蹊径
AIGC全部方向的技能点做的整理，形成各个范畴的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，包管本身学得较为全面。
https://i-blog.csdnimg.cn/blog_migrate/1b1cab9c91b3aeff41c3bac3310c410e.png
https://i-blog.csdnimg.cn/blog_migrate/d031252fcc8679953d0e75884d94d9cc.png
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
https://i-blog.csdnimg.cn/blog_migrate/bb1138400c89c4f4a35a285518e0d429.png
三、最新AIGC学习笔记
当我学到一定基础，有本身的理解能力的时间，会去阅读一些先辈整理的书籍大概手写的笔记资料，这些笔记详细记录了他们对一些技能点的理解，这些理解是比较独到，可以学到不一样的思路。
https://i-blog.csdnimg.cn/blog_migrate/9ed7f683ffa0be9b4c731df22c52e7f6.png
https://i-blog.csdnimg.cn/blog_migrate/316f26c00706b15bae812d4ddf5ee304.png
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
https://i-blog.csdnimg.cn/blog_migrate/c73dd95b03963edc0f97e15bc2b20bbb.png
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将本身的所学运用到实际当中去，这时间可以搞点实战案例来学习。
https://i-blog.csdnimg.cn/blog_migrate/3ff5d36806bf14c4dd8a1fc85ad3e2e5.png
https://i-blog.csdnimg.cn/blog_migrate/cf90006732844f56a43cb3afb6da40bf.png 若有侵权，请接洽删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]