深度解析｜AI绘画中SD1.5、SDXL、Checkpoint、Lora 的寄义与原理
大家好，我是程序员晓晓自接触AI绘画以来，我发现很多朋友对一些基础词汇明确地很含糊，然后在搭建ComfyUI 工作流或者使用SD WebUI进行出图时，只能知其然，不知其所以然的感觉，也不知搭选哪个模型，很多时候都是照猫画虎地模仿，很难过。而且，很多时候，网上找不到详细地教程来详细表明这些寄义。
本日我将对一些基础词汇做一个复盘，在这里做了个分享。
本日给大家分享的是 stable diffusion中的一些基础题目，主要分三块：
[*] SDXL、SD1.5是什么意思
[*] checkpoint、lora是什么意思
[*] checkpoint和lora的区别
放轻松，我会通过设计师的视角帮大家更好地明确。
题目1：SDXL、SD1.5这些版本有什么区别，到底有多少版本？
为什么会出现这个题目，是因为每次在浏览网站或者别人的视频时，左上角的xl，lora等搞得我莫名其妙，云里雾里。一会儿1.0，一会儿1.5，一会儿XL，不明所以。
https://i-blog.csdnimg.cn/blog_migrate/b6f5538fb9ae8eee5b635d3f8a1b511c.png
实在这么回事：SD是stable diffusion的缩写，背面的后缀实在是各个版本的称呼；
https://i-blog.csdnimg.cn/blog_migrate/77888e2f599ce4ca8d10c92c688d15c7.png
Stable Diffusion (SD) 自发布以来经历了多个版本的迭代。以下是SD主要版本的概览：
[*] Stable Diffusion v1.0 (2022年8月)首次公开发布
[*] Stable Diffusion v1.1 - v1.4 (2022年8月-10月)陆续发布的小版本更新，主要改进模型性能和质量
[*] Stable Diffusion v1.5 (2022年10月)在1.4基础上的进一步改进
[*] Stable Diffusion v2.0 (2022年11月)重大更新，改进了文本明确和图像质量
[*] Stable Diffusion v2.1 (2022年12月)对2.0的改进，加强了生成本领
[*] Stable Diffusion XL 0.9 (2023年6月)SDXL的预览版本
[*] Stable Diffusion XL 1.0 (2023年7月)目前最新的主要版本，大幅提升了模型本领
每个版本都比之前的版本生图质量更好，学习的图片数目也更多。接下来就给大家简单做个区分：
https://i-blog.csdnimg.cn/blog_migrate/bbb29f80c5de88b8258dccec3088db5d.png
SD v1.1-1.5：训练的图片基本上都是 512*512 大小；
SD v2.0-2.1: 训练的图片大小是768*768；
SD XL：分别以600000步256*256 和200000步 512*512 大小的图片进行训练，得当生成1024*1024大小的图片，生成质量大大提高，非常受欢迎。
简单明确就是SD的每一个版本都比之前的版本 训练的步数更多，出图的质量更好。
那这么多版本，我应该下载哪个版本最合适呢？这里我推荐大家下载sd1.5和sdXL这两个版本，因为1.5版本生态最繁荣，sdXL 出图质量最好，画面表现高，但是占用显存略高，训练速度慢。
https://i-blog.csdnimg.cn/blog_migrate/1a746cc58b4bcbea8ca48933b527365d.png
假如大家现在手里还没有这两个模型，可以看下方扫描免费获取模型文件
https://i-blog.csdnimg.cn/blog_migrate/70058f24034ff476e016338c61cd2d49.png
题目2:checkpoint、lora是什么意思？
梳理了stable diffusion各版本之后，接下来帮大家明确checkpoint和lora的寄义和不同；
2.1什么是checkpoint？
Checkpoint是深度学习中常用的一个术语，用于形貌在每次训练后保存模型参数（权重）的惯例。雷同于游戏中保存关卡的功能，Checkpoint允许我们在训练过程中保存模型的状态，以便之后可以加载这些保存的参数并继续训练或进行推理。
简单明确的话，checkpoint就是在stable diffusion底模的基础上，再次训练得到特定风格的，更得当生成某种调性图片的模型。
https://i-blog.csdnimg.cn/blog_migrate/b9b783f1a24140a8a5b83116d1dd4065.png
所以我们可以在网上看到很多的checkpoint，这些都是在底模的基础上再次训练得到的。
https://i-blog.csdnimg.cn/blog_migrate/8014649c50b81a1a6218ca74e7b79884.png
每种checkpoint都可以在详情页中看到基础模型的版本，看下图：
https://i-blog.csdnimg.cn/blog_migrate/247120079c4c90b896513088d347291e.png
这个大家要留意了。ControlNet 跟模型的版本是一一对应的，假如checkpoint的版本和ControlNet 模型版本不一致，就会报错，因为训练的图片尺寸不一样。
https://i-blog.csdnimg.cn/blog_migrate/37a927302f0b30b5b4e7425885bd73f0.png
报错信息如下：
https://i-blog.csdnimg.cn/blog_migrate/b9fb95b92f5254a9be4a913d81027402.png
2.2:什么是lora？
lora（Localized Refinement of Attributes）不同于checkpoint，lora可以看成是在基础模型生成的图片上，加了一层“滤镜”，达到切换风格的效果。因此他的体积很小，只有几百MB，受到很多小同伴的青睐，毕竟一样平凡人没有那么大的算力和时间去训练一个checkpoint，但是训练一个lora只要几个小时，而且要的训练素材也很少，优势很大，非常吸引人。
https://i-blog.csdnimg.cn/blog_migrate/d8d951126503b36c4932bc72abf4c750.png
我们可以把lora明确成好汉同盟中的皮肤，原始的皮肤是大模型，后续的皮肤就是lora，lora可以改变好汉的服装，姿态，但是主要框架是不变的。所以说lora技术是一种轻量化的模型微调训练方法。
https://i-blog.csdnimg.cn/blog_migrate/6ee175cb3fe4c9e87c0b60fd943cfca8.png
我们可以在很多网站上下载不同风格的lora，偶然候大家会碰到一个题目，就是lora出来的图片效果没有网站发布的案例好看，可能是因为没有选对底模的缘故原由。
https://i-blog.csdnimg.cn/blog_migrate/7428d797e21bd73df1c0eae46e81ac06.png
或者是没有输入触发词：
https://i-blog.csdnimg.cn/blog_migrate/4d7ea4f57a9b311e2c830259089d3118.png
题目3：checkpoint和lora 的区别在那边：
假如大家过细看过上面的内容，不难懂白两者的区别：
https://i-blog.csdnimg.cn/blog_migrate/830f14d943f0d050d9fa1bd3f92f7f79.png
末了怎么在AI绘画工具ComfyUI中选lora，须要在“新建节点”下找到“加载器”，再找到“lora加载器”：
https://i-blog.csdnimg.cn/blog_migrate/af79d153dfc2d1c81cad39af8aa832be.png
然后再lora节点中选择本身已经下载好的lora就可以啦
https://i-blog.csdnimg.cn/blog_migrate/828c0eff99536220fb5b1b952a44ba21.png
lora文件的存储位置在：models下的loras中
https://i-blog.csdnimg.cn/blog_migrate/0f60e4bb600c7eb5bd97a1ef5828a129.png
本日的分享到这里就竣事了，通过这篇文章，希望大家能更好的明确sd各版本的差异和lora的使用，了解了这些基础知识之后，可以资助大家更快地上手ComfyUI
感爱好的小同伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
https://i-blog.csdnimg.cn/blog_migrate/70058f24034ff476e016338c61cd2d49.png
AIGC技术的未来发展远景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算体系具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
https://i-blog.csdnimg.cn/blog_migrate/3b493dae03405c0a81bcf0e1be79db2e.png#pic_center
一、AIGC全部方向的学习路线
AIGC全部方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证本身学得较为全面。
https://i-blog.csdnimg.cn/blog_migrate/1b1cab9c91b3aeff41c3bac3310c410e.png
https://i-blog.csdnimg.cn/blog_migrate/d031252fcc8679953d0e75884d94d9cc.png#pic_center
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
https://i-blog.csdnimg.cn/blog_migrate/bb1138400c89c4f4a35a285518e0d429.png
三、最新AIGC学习笔记
当我学到肯定基础，有本身的明确本领的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的明确，这些明确是比较独到，可以学到不一样的思路。
https://i-blog.csdnimg.cn/blog_migrate/9ed7f683ffa0be9b4c731df22c52e7f6.png
https://i-blog.csdnimg.cn/blog_migrate/316f26c00706b15bae812d4ddf5ee304.png
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很轻易入门的。
https://i-blog.csdnimg.cn/blog_migrate/c73dd95b03963edc0f97e15bc2b20bbb.png
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将本身的所学运用到实际当中去，这时候可以搞点实战案例来学习。
https://i-blog.csdnimg.cn/blog_migrate/3ff5d36806bf14c4dd8a1fc85ad3e2e5.png
https://i-blog.csdnimg.cn/blog_migrate/70058f24034ff476e016338c61cd2d49.png 若有侵权，请联系删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]