论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
应用中心
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
qidao123.com技术社区-IT企服评测·应用市场
»
论坛
›
人工智能
›
人工智能
›
AIGC新手炼丹师快速天生属于本身的lora--示范样例:北条 ...
AIGC新手炼丹师快速天生属于本身的lora--示范样例:北条时行(出自:善于逃 ...
张裕
论坛元老
|
2024-8-22 03:49:37
|
显示全部楼层
|
阅读模式
楼主
主题
1553
|
帖子
1553
|
积分
4659
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
目录
一.预备工作:安装stable-diffusion和sd-trainer
二.预备数据集
2.1确定你想要的数据集
2.2预备数据集
2.2.1对于人物类的数据集
2.2.2数据集的处理
2.2.3数据集地点文件夹参考位置(出于方便思量,仅供参考):
2.2.4由数据集天生标签
2.2.5对天生的标签进行修改
三.开始训练
3.1打开sd-trainer的新手模式
3.1.1预备工作:将预备好的数据集的文件复制粘贴到指定文件夹
3.1.2调解一些参数(因为是新手,所以我们只调节基本的参数!!!)
3.2开始训练
四.测试我们的lora模子
4.1将训练出来的模子放进stable-diffusion相应的目录下
4.2开始测试
4.2.1我们要先下载一个插件:additional network
4.2.2填入提示词
4.2.3启用additional networks
4.2.4使用x/y/z图表
1.在脚本里选择x/y/z图表
2.选择训练好的lora模子进行测试
4.2.5通过效果分析来找出最佳的权重和lora模子(同样是思量到没有理论知识的前提,只进行直观的分析)
五.结语
一.预备工作:安装stable-diffusion和sd-trainer
在训练lora模子之前,我们需要在本地安装SD-WebUI (Stable Diffusion WebUI)和SD-Trainer,这里保举B站大佬秋叶aaaki大佬的整合包(点击进入),可以快速上手并训练出本身的第一份lora模子。
注:1.只管避免把这两个程序放在c盘,因为它们还是有点大的,D盘,E盘都是可以的
2.显存最好8G+,当然,6G也是可以的,速度和效率会有所不同
SD-WebUI (Stable Diffusion WebUI)下载完成后,解压,进入文件,找到下图文件,即可进入Stable Diffusion,
界面如下,请确保大致界面雷同(如果你也用的秋叶大佬的整合包)
SD-Trainer下载完成后,选择版本(保举最新的),解压,进入文件,找到下图文件:即可进入SD-Trainer,(在点击进入脚本之前留意要先完成【A强制更新!!!】)
界面如下,请确保界面大致雷同,(如果你也用的秋叶大佬的整合包)
二.预备数据集
2.1确定你想要的数据集
对于lora的种类,在此不做过多的赘述(你可以选择训练画风,人物角色等等),接下来我会以人物类的Lora进行示范,选取的角色为《善于逃跑的殿下》中的主人公北条时行
2.2预备数据集
2.2.1对于人物类的数据集
1.该人物的动漫中截图,留意:如果你想训练的仅仅是该人物本身,请将图片中多余的任何人物截去!
2.探求二创等,留意:请留意版权题目,若你的数据集有这类图片,请把握好可能的侵权题目!
2.2.2数据集的处理
1.建议预备至少20-30张图片 留意:并非图片越多越好,且重复图片最好删去,它们对你所需要的训练的lora没有什么帮助,反而会拖累你的电脑!
2.图片的分辨率最好调成512*512,这并非必须的,但是作为新手,这样方便且容易;如果你不想这么做,请至少将图片分辨率设置为512*(64的倍数)大概(64的倍数)*512 留意:512并非必须的,你也可以设置为(64的倍数)*(64的倍数)
【你可以使用windows电脑自带的‘绘图’工具进行调节,也可以使用该网站可以批量调节图片大小,每一次最多调节30张,目前来说够用了(free),将仍旧不符合条件的图片用ps,绘图等工具微调即可】
2.2.3数据集地点文件夹参考位置(出于方便思量,仅供参考)
如图:‘lora_practice’是我存放sd-trainer的文件夹,
‘训练用图片-善于逃跑的殿下’是我存放未经任那边理的数据集的文件
‘Input_北条时行‘是我存放颠末处理的数据集的位置(我进行的是512*512)
分辨率调解后的部分效果如图:
2.2.4由数据集天生标签
打开stable-diffusion,按照下面的步骤操纵:
(1)点击后期处理
(2)点击批量处理文件夹
(3)输入目录为已经调解过分辨率的数据集(示例中为:D:\aidraw\lora_practice\input_北条时行);输出目录为你要将标签输出的位置(目录),可以选择新建一个文件夹,方便查找,参考位置如图:
(4)取消‘图像放大‘的选项
(5)选中下方的天生标签,选择Deepbooru(点这个最好)
(6)点击天生
可以看到效果,进入 ‘output_北条时行‘ 文件:
每个图片会对应一个txt文档,内里就是该图片的提示词(prompt)
2.2.5对天生的标签进行修改
天生的标签会因为所给数据集的原因出现冗余的征象(多出一些莫名奇妙的标签),为了训练的lora的效果,我们可以修改每张图片所对应的提示词。
这里保举BooruDatasetTagManager,可以更加有效的进行提示词的修改
(你可以在:BooruDatasetTagManager的下载(github)进行下载)
初始界面如图:
点击设置,进入翻译,在Translation language 一栏选择Chinese(Simplified),生存
点击文件,选择读取数据集目录,也就是我们打好标签的文件,
加载完成后如图,可以开始调解标签(北条时行明明是男孩子,给出的标签却是1girl,真可恶啊)
注:这里是可以将标签翻译成中文的,如下图:点击界面,选择翻译标签
但是这个翻译的速度很慢,而且有的标签无法翻译,体验不是很好,建议直接看原文大概百度翻译/谷歌翻译/chagpt,启动!
修改完成后,点击生存更改,如下图:
那么到此为止,一个数据集就预备完毕了,我们可以打开秋叶大佬预备的sd-trainer进行训练了
三.开始训练
【留意:建议使用Google Chrome打开sd-trianer,否则可能会出现无法训练的征象(比如edge)】
3.1打开sd-trainer的新手模式
作为新手,我们就用这个新手模式,效果也很好:
3.1.1预备工作:将预备好的数据集的文件复制粘贴到指定文件夹
我们要将预备好的数据集的文件复制粘贴到指定文件夹(这期间我们要新建两个文件夹),按照下面的图片流程进行:
这个beitiao是需要用户本身创建的,(fox是我本身之前建立的,没舍得删),你可以根据本身创建的角色的名字特征等建立一个文件夹。
注:一定要是英文,以确保全英路径!!!
这个地方的文件夹20_beitiao也是用户本身创建的文件夹,它被包罗在我们上一步创建的文件beitiao里,20即这个数字有着本身的意义,一定要有!感兴趣的话可以本身去了解哦~
注:这个文件夹必须是英文名字!!!
在创建的20_beitiao中粘贴我们第二步创建的数据集
3.1.2调解一些参数(因为是新手,所以我们只调节基本的参数!!!)
对于下图的训练用模子,在civitai上随便找一个checkpoint实在基本上来说都可以(理论上,但是不建议这么做),找一些比较古老(好评如潮)的模子更稳定,更不容易翻车,例如:sd-1.5
对于上面这张图片的详解:
(1)将我们数字_名字(这里是20_beitiao)的文件夹的上一层文件(这里是beitiao)的路径复制已往即可
复制到这里:
(2)output_name模子生存名称:可以填写任意你喜欢的名字,只要你能通过名字从文件里辨别出那是你训练的模子就可以了
(3)最大训练epoch轮数设置为20,别的都可以不消改
3.2开始训练
训练时可以看看训练进度,例如:
这是一个很漫长的过程,通常需要数个小时才能完成
四.测试我们的lora模子
4.1将训练出来的模子放进stable-diffusion相应的目录下
在如图的目录里有着我们刚刚训练的模子:
我们看到有多少个模子,
我们需要把他们生存到stable-diffusion的D:\aidraw\sd-webui-aki-v4.8\extensions\sd-webui-additional-networks\models\lora目录下,一定要是这个目录,否则测试时会出现题目【建议同时放到sd-webui-aki-v4.8\models\lora里,否则可能会出现你训练的模子在stable-diffusion中的lora一栏中并不表现的题目】:
4.2开始测试
4.2.1我们要先下载一个插件:additional network
将链接https://github.com/kohya-ss/sd-webui-additional-networks放入如图的红框里:
重启stable-diffusion,就可以正常使用该插件了
4.2.2填入提示词
可以从我们处理过的数据集的标签里提取提示词,比如:
我们选择这个图片的提示词,填入;
4.2.3启用additional networks
在additional networks里任意放入一个我们训练的模子,按照下图操纵:(否则会出现脚本里x/y/z图标操纵时不表现lora的题目)
4.2.4使用x/y/z图表
1.在脚本里选择x/y/z图表
2.选择训练好的lora模子进行测试
对X轴:左边选择附加模子1;右侧点击如图图标,会表现你所训练的全部模子,删去你不需要测试的模子(一样寻常是你之前训练的lora模子,这里会一次性选上)
这是表现的右侧图标点击后的效果:
对Y轴:左侧选择附加模子1权重,右侧输入:0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1,代表着lora的权重
4.2.5通过效果分析来找出最佳的权重和lora模子(同样是思量到没有理论知识的前提,只进行直观的分析)
注:这里将:
当做
checkpoint
开始天生,得到:
大致可以得出:权重:0.6-1.0天生的图像和beitiao000008,beitiao000010,beitiao000014,beitiao000014,得出的图像质量比较高。
注:1.一次天生的图片并不能代表最终的效果,我们需要在清除0.0-0.5的权重和其他几个显着有题目的模子后重新天生图片,这时可以改变提示词,来进步判断的准确度,在选择出最后的模子和权重区间后就可以尽情使用你的lora模子啦。
2.同样的,你可以去测试同一个lora模子在不同模子下的效果,找出适合该lora的模子,如:
这是我测试的几个模子,一次天生的效果为:
可以显着的看出来,1,3,6天生的图片是可以的,其他的就肉眼可见的糟糕了。
五.结语
你是否已经制作出你所喜欢的角色的lora并为其赋予上本身独有的色彩了呢?
探索AIGC是一个漫长的路程,我们需要掌握很多相关的知识和技能,此中的艰辛常常会让我们感到难过,但是当一张张优美的图片展现在我们眼前,壮丽的色彩能够在盘算机上呈现属于本身的光芒时,我们也会显得如此开怀。
(关于人工智能,还有什么想了解的吗?告诉我吧!)
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复
使用道具
举报
0 个回复
正序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
发新帖
回复
张裕
论坛元老
这个人很懒什么都没写!
楼主热帖
AI绘画Stable Diffusion Lora模子的利 ...
什么时候用C而不消C++?
049-WEB攻防-文件上传&存储安全&OSS对 ...
Linux安装最新版Docker完整教程(建议 ...
品级保护测评解决方案
这所985超燃,中科院院士10天发四篇Nat ...
Docker 容器 mysql 配置主从
在 Kubernetes 中部署 Alertmanager ...
京准电钟:GPS北斗卫星时钟同步系统行 ...
免费分享:城市修建轮廓矢量数据(附下 ...
标签云
渠道
国产数据库
集成商
AI
运维
CIO
存储
服务器
快速回复
返回顶部
返回列表