ToB企服应用市场:ToB评测及商务社交产业平台
标题:
AIGC绘画设计——Stable Diffusion进阶利用
[打印本页]
作者:
尚未崩坏
时间:
9 小时前
标题:
AIGC绘画设计——Stable Diffusion进阶利用
本文讲解，模子底模，VAE美化模子，Lora模子，hypernetwork。
文本Stable Diffusion 简称sd
欢迎关注留言，不定期追加更新！
利用模子
C站：https://civitai.com/
huggingface：[https://huggingface.co/models?pipeline_tag=text-to-
image](https://link.zhihu.com/?target=https%3A//huggingface.co/models%3Fpipeline_tag%3Dtext-
to-image “https://huggingface.co/models?pipeline_tag=text-to-image”)
大模子（底模子）
stable diffusion webui 部署完成后，checkpoint是放底模 home\webui\models 目录下
常见模式：后缀ckpt/safetensors
常见大小：2G-7G
Realistic
Vision：逼真的照片风格。
Anything v5：动漫风格。
Dreamshaper：写实绘画风格。
VAE美化模子
可以理解为滤镜，选择VAE就像给图片套上了一层滤镜，会改变图片原有的颜色风格；一样寻常默认是无，而且有些大模子中会自带VAE
常见模式：后缀ckpt/pt
名字中带有vae
stable-diffusion-webui 默认页面并没有显示 VAE
设置部门，所以需要先设置一下。首先点击「Settings」，然后点左侧菜单的「User interface」这个
Tab，拉到下面有个选项叫做Quicksettings list，在输入框内里添加,sd_vae,CLIP_stop_at_last_layers:
最后点击上面的「Apply settings」，在点「Reload UI」就会重新刷新页面，即可看到头部的 VAE 区域:
可以去C站和huggingface下载
我们把这些 VAE 模子下载并把它放入到models/VAE目录下:
1. wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O ~/workspace/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.ckpt
2. wget https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Anything-V3.0.vae.safetensors -O ~/workspace/stable-diffusion-webui/models/VAE/Anything-V3.0.vae.safetensors
3. wget "https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Berry's%20Mix.vae.safetensors" -O
复制代码
所谓没有对比就没有伤害，对比显着可以感受到不加 VAE 图片优点灰蒙蒙的，不够鲜艳，别的是细节不够，而加了不同的 VAE
都有了更好的颜色效果，细节更全了 (微调)。
最后，注意不同的 VAE 适配的模子不同，也不是某个 VAE 可以用在任何模子下，否则大概会生成非常希奇的图。
Lora模子
LoRA模子是通过截取大模子的某一特定部门生成的小模子，虽然不如大模子的本事完整，但短小干练。由于训练方向明确，所以在生成特定内容的情况下，效果会更多。
常见模式：后缀ckpt/safetensors/pt
常见大小：100MB
模子下载并把它放入到models/Lora目录下
可以去C站下载搜索Lora模子
Embeddings
通过脚色训练产出，可以或许让你的主模子识别某个指定的脚色，由于你的主模子不大概每个脚色都认识，通过文件名触发。
常见模式：后缀pt
常见大小：几十KB
模子下载放到webui\embeddings
可以去C站下载搜索Embeddings模子
Hypernetworks
通过画风训练产出，可以或许指定特定的画风！
常见模式：后缀pt
常见大小：几十KB
模子下载放到webui\models\hypernetworks
可以去C站下载搜索hypernetworks模子
功能类型选择
除了文生图，也可根据自己的需求选择其他选项卡进行操作，以下简单先容正常流程会用到的选项卡：
图生图
（img2img）：将文生图的效果继续生成图片，或自己上传一张图片，常用于调解和优化图片，或修改图片风格、背景、人物形象等场景；
附加功能
（Extras）：对单张或批量图片进行缩放的操作；
图片信息
（PNG Info）：将本地图片上传后，可以用于其他选项卡的功能中；
模子归并
（Checkpoint Merger）：将多个模子进行不同权重的归并，从而获得一个新的模子；
扩展
：SD的扩展插件设置区，可以查看已安装的插件内容，并控制开启和禁用状态；也支持通过URL的方式获取其他插件。
掌握提示词本事
提示语输入基本要求
利用
英语描述
最佳，避免出现单词拼写错误；（不同模子大概有训练中文和日文，可自行判断）
标点符号同样利用
英文半角
进行输入；
发起利用
逗号隔开
的单词作为提示词；（也可用句号、甚至是空字符（\0)来分隔关键词，可以提高图像质量；
也可以利用
自然语言
描述图片内容，比如：A handsome hero armed with a sword（一个英俊的英雄装配着剑）
提示语描述和图像风格搭配，相近的描述不要重复出现
善于利用反向提示语来去除图片的负面效果；
尽大概利用
特定含义
的词汇，比如将 big 调解为 huge ，避免利用有多种含义的词汇；
避免利用with、and之类的
连接词
；
逗号前后的少量空格并不影响现实效果；
可以通过
指定风格提示语
来创作带有特效或指定画风的图片；(风格获取参考下文 )
姿势的
描述越精简越好
，否则容易出现肢体重复的情况；（肢体生成是AI硬伤，可用controlnet来办理）
避免过长提示词，越尾部的提示词在图片中的权重默认就越低，因此关键特征尽大概放在头部或通过语法来提高权重；（过长提示词可得当提高生成步数获取更好效果）
输入提示词本事
输入模板
将自己构思的图片特征抽象为标签描述，并将标签按分类进行排列，以下为模板示例：
(quality), (subject)(style), (action/scene), (artist), (filters)
复制代码
(quality) 代表画面的品质，比如 low res 结合 sticker利用来“利用”更多数据集，1girl结合high
quality利用来获得高质量图像。
(subject) 代表画面主题，锁定画面内容，这是任何提示词基本构成部门。
(style) 是画面风格，可选。
(action/scene) 代表动作/场景，描述了主体在哪里做了什么。
(artist) 代表艺术家名字或者出品公司名称
(filters) 代表一些细节，补充。可以利用 艺术家，工作室，摄影术语，脚色名字，风格，特效等等。
提示词语法
(word) - 将权重提高 1.1 倍
((word)) - 将权重提高 1.21 倍（= 1.1 * 1.1），乘法的关系。
[word] - 将权重降低 90.91%
(word:1.5) - 将权重提高 1.5 倍
(word:0.25) - 将权重减少为原先的 25%
wordword - 在提示词中利用字面意义上的 () 字符 利用数字指定权重时，必须利用() 括号。如果未指定命字权重，则假定为
（权重增长通常会占一个提示词位，应当避免加特别多括号）
1. （n）=(n:1.1)
2. （（n））=(n:1.21)
3. （（（n）））=(n:1.331)
4. （（（（n））））=(n:1.4641)
5. （（（（（n）））））=(n:1.61051)
6. （（（（（（n））））））=(n:1.771561)
复制代码
相关模板
正向提示语：
1. #万能画质要求#
2. (masterpiece, best quality),
复制代码
反向提示语：
1. #避免糟糕人像的#
2. ugly, fat, obese, chubby, (((deformed))), [blurry], bad anatomy,disfigured, poorly drawn face, mutation, mutated, (extra_limb),(ugly), (poorly drawn hands fingers), messy drawing, morbid,mutilated, tranny, trans, trannsexual, [out of frame], (bad proportions),(poorly drawn body), (poorly drawn legs), worst quality, low quality,normal quality, text, censored, gown, latex, pencil,
3. #避免生成水印和文字内容#
4. lowres, bad anatomy, bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worst quality, low quality,normal quality, jpeg artifacts, signature, watermark, username, blurry,
5. #通用#
6. lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,
7. #避免变形的手和多余的手#
8. extra fingers,fused fingers,too many fingers,mutated hands,malformed limbs,extra limbs,missing arms,poorly drawn hands,
复制代码
辅助工具推荐
获取和利用插件
插件体系作为SD的本事扩展，
很多大佬发挥想象力制作了许多强力的插件，个人认为普通绘图不需要研究太多的插件内容，由于你根本没那个时间精力，不外有几个常用插件可以安装和尝试利用，以下我以本地部署的SD页面为例，先容如何获取插件、利用插件和插件推荐：
sd-webui-additional-networks
为Stable Diffusion
WebUI添加支持更多的网络架构和模子,如RealESRGAN等。
[https://github.com/kohya-ss/sd-webui-additional-
networks](https://link.zhihu.com/?target=https%3A//github.com/kohya-ss/sd-
webui-additional-networks “https://github.com/kohya-ss/sd-webui-additional-
networks”)
sd-webui-controlnet
为Stable Diffusion WebUI提供控制网络功能,可以精细控制图像生成效果。
[https://github.com/Mikubill/sd-webui-
controlnet](https://link.zhihu.com/?target=https%3A//github.com/Mikubill/sd-
webui-controlnet “https://github.com/Mikubill/sd-webui-controlnet”)
sd_civitai_extension
将Civitai的模子集成到Stable Diffusion WebUI中,提供更多高质量的模子。
https://github.com/civitai/sd_civitai_extension.git
sd-webui-animatediff
为Stable Diffusion WebUI提供图像动画生成功能。
[https://github.com/continue-revolution/sd-webui-
animatediff](https://link.zhihu.com/?target=https%3A//github.com/continue-
revolution/sd-webui-animatediff “https://github.com/continue-revolution/sd-
webui-animatediff”)
sd-dynamic-prompts
实现一个微型模板语言,用于Stable Diffusion WebUI中的随机prompt生成。
[https://github.com/adieyal/sd-dynamic-
prompts](https://link.zhihu.com/?target=https%3A//github.com/adieyal/sd-
dynamic-prompts “https://github.com/adieyal/sd-dynamic-prompts”)
sd_dreambooth
为Stable Diffusion WebUI提供DreamBooth功能,可以进行细粒度的少样本训练。
https://github.com/d8ahazard/sd_dreambooth_extension
sd-webui-deforum
为Stable Diffusion WebUI添加各种视觉效果,如图像动画、语音生成等。
[https://github.com/deforum-art/sd-webui-
deforum](https://link.zhihu.com/?target=https%3A//github.com/deforum-art/sd-
webui-deforum “https://github.com/deforum-art/sd-webui-deforum”)
Stable-Diffusion-Webui-Civitai-Helper
辅助管理Civitai模子,使其更容易集成到Stable
Diffusion WebUI中。 [https://github.com/butaixianran/Stable-Diffusion-Webui-
Civitai-
Helper](https://link.zhihu.com/?target=https%3A//github.com/butaixianran/Stable-
Diffusion-Webui-Civitai-Helper “https://github.com/butaixianran/Stable-
Diffusion-Webui-Civitai-Helper”)
Tiled Diffusion & VAE
应用瓦片化扩散模子和VAE进行超分辨率图像生成,降低VRAM用量。
[https://github.com/pkuliyi2015/multidiffusion-upscaler-for-
automatic1111](https://link.zhihu.com/?target=https%3A//github.com/pkuliyi2015/multidiffusion-
upscaler-for-automatic1111 “https://github.com/pkuliyi2015/multidiffusion-
upscaler-for-automatic1111”)
了解和设置参数
常用参数的基本先容
采样器
（Sampler）：不同采样器的图片效果有所差别，详细看下文先容；
采样迭代步数
（Steps）：图片生成时需要进行多少步的计算，20-50即可，太低图片质量差，太高大概图片失真；更多的步骤意味着从噪声到图像的更小、更精确的步骤。增长这一点直接增长了生成图像所需的时间；
面部修复
（Restore faces）：可选项，修复面部细节，用于人像图片生成；
平铺/分块
（Tiling）：可选项，生成平铺拼接的图案，类似瓷砖拼接的效果；
高清修复
（Hires.fix）：可选择，常用于大尺寸的高清图片输出需求，非常耗性能速度很慢；
宽度/高度
（Width/Height）：图像的宽度，像素。要增长这个值，你需要更多的显存。大标准的图像一致性会随着分辨率的提高而变差（模子是在
512x512 的底子上训练的）。非常小的值（例如 256 像素）也会降低图像质量。这个值必须是8的倍数；出图尺寸太宽时，图中大概会出现多个主体，推荐利用
小尺寸分辨率 + 高清修复；
生成批次
（Batch count）：每次执行绘图的批次数；终极出图=生成批次*每批数目
每批数目
（Batch size）：每批绘图的数目，增长这个值可以提高性能，但你也需要更多的 VRAM，默认为1即可；（数目与时间成正比）
提示词相关性
（CFG Scale）：是否严格按照提示词的要求来生图，数值越小AI就会自由发挥，过大过小的数值都会让图片变形；一样寻常7-10。
随机种子
（seed）：是图片生成算法在初始状态的底子，指定一个数值，那么对于雷同提示词+同样参数+同样的种子，就会出来一个一模一样的图片；-1是指每次生成时都随机一个值，这样图片的生成就会有差别性；图片的种子值可在右侧输出的日志中找到；不同显卡由于微架构不同，大概会造成预料之外的不同效果
Samplers 采样器推荐
DPM
（离散概率模子）采样器：这些采样器基于离散概率模子，用于图像生成等使命。“2M”、“SDE” 和 “Karras” 变体大概指的是标准
DPM 方法的特定修改或改进。
欧拉和亨恩采样器
：这些是办理微分方程的数值方法，在逆向扩散过程中至关紧张。"欧拉"是一种更简单的方法，而"亨恩"则是一种更准确但计算上更密集的方法。
LMS
（朗之万蒙特卡洛采样）：这是一种用于采样的蒙特卡洛方法，在某些场景下以其效率而闻名。
DDIM
（去噪扩散隐式模子）：这是扩散模子的一种变体，允许更快的采样，并且可以更加可控。（最初发布的 SD 模子 v1 中附带的采样器）
PLMS
（概率流朗之万蒙特卡洛采样）：一种结合了概率流和朗之万蒙特卡洛方法的采样器。（最初发布的 SD 模子 v1 中附带的采样器）
UniPC
：一个为快速采样扩散模子而设计的统一推测-校正框架。 https://github.com/wl-
zhao/UniPC
你大概注意到还有一些采样器的名称中也有一个字母 a 呢？ 比如 Euler a、DPM2 a、DPM++ 2S a、DPM++ 2S a
Karras，它们都属于祖先采样器（ancestral
samplers）。祖先采样器会在每个采样步骤中向图像添加噪声。由于采样效果有肯定的随机性，所以它们是随机采样器。
带有 “Karras” 标签的采样器，它们采用了
https://arxiv.org/abs/2206.00364
文章中推荐的噪声策略。在接近去噪过程结束时，将噪声步长变小。研究人员发现这可以提高图像的质量。
如何选择符合采样器
如果你想利用快速、新颖且质量不错的算法，最好的选择是 DPM++ 2M Karras，设置 20~30 步。
如果你想要高质量的图像，那么可以思量利用 DPM++ SDE Karras，设置 10~15 步，但要注意这是一个计算较慢的采样器。或者利用 DDIM
求解器，设置 10~15 步。
如果你喜欢稳固、可重现的图像，请避免利用任何原始采样器（SDE 类采样器）。
如果你喜欢简单算法，Euler 和 Heun 是不错的选择。
如果对我的文章内容感兴趣，请帮助关注点赞收藏，谢谢~
AIGC（AI Generated
Content）技术，即人工智能生成内容的技术，具有非常广阔的发展远景。随着技术的不断进步，AIGC的应用范围和影响力都将显着扩大。以下是一些关于AIGC技术发展远景的推测和展望：
1、AIGC技术将使得内容创造过程更加自动化，包罗文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率，降低成本。2、在游戏、影戏和虚拟现实等范畴，AIGC技术将可以或许创造更加丰富和沉浸式的体验，推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念，提高创意过程的效率。
未来，AIGC技术将持续提升，同时也将与人工智能技术深度融合，在更多范畴得到广泛应用。
针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：
目标应该是这样的：
第一阶段（30天）：AI-GPT从入门到深度应用
该阶段首先通过先容AI-GPT从入门到深度应用目录结构让各人对GPT有一个简单的认识，同时知道为什么要学习GPT利用方法。然后我们会正式学习GPT深度玩法应用场景。
-----------
GPT的界说与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你办理统统题目？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高本事-GPT高情商沟通
GPT深度玩法应用场景
GPT高级脚色扮演-讲授老师
GPT高级脚色扮演-育儿专家
GPT高级脚色扮演-职业顾问
GPT高级脚色扮演-专业私人健身教练
GPT高级脚色扮演-心理健康顾问
GPT高级脚色扮演-程序UX/UI界面开发顾问
GPT高级脚色扮演-产品司理
GPT高级本事-游戏IP脚色扮演
GPT高级本事-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人大夫
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿发起
GPT实操练习-资产设置
GPT实操练习-讲讲课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-口试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、发起
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及归并实战
GPT提升工作效率-Excel生成复杂使命实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调解PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动复兴
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战
第二阶段（30天）：AI-绘画进阶实战
该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画界说与概述 ，AI绘画的应用范畴 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类先容的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的利用方法，还有AI绘画插件和模板的利用为我们接下来的实战设计学习做铺垫。
-----------
AI绘画界说与概述
AI绘画的应用范畴
AI绘画与传统绘画的区别
AI绘画的工具分类先容
AI绘画工具-Midjourney
AI绘画工具-百度文心一格
AI绘画工具-SDWebUI
AI绘画工具-Vega AI
AI绘画工具-微信中的AI绘画小程序
Midjourney学习-Discord账号的注册
Midjourney Bot界面讲解
Midjourney提示词入门
Midjourney高级提示词
Midjourney版本参数学解读
Midjourney功能参数
Midjourney上采样参数
AI绘画组合应用1-Midjourney + GPT
AI绘画组合应用2-Stable Diffusion + GPT
AI绘画组合应用3-AI绘画+ GPT +小红书
AI绘画组合应用4-AI绘画+ GPT +抖音
AI绘画组合应用5-AI绘画+ GPT +公众号
AI绘画组合应用6-AI绘画+ GPT + AI视频
AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
AI绘画设计-Logo设计
AI绘画设计-套用万能公式
AI绘画设计-引用艺术风格
AI绘画设计-GPT加速设计方案落地
AI绘画设计-Vega AI渲染线稿生成设计
AI绘画设计-摄影
AI绘画设计-头像设计
AI绘画设计-海报设计
AI绘画设计-模特换装
AI绘画设计-家具设计
AI绘画设计-潘顿椅设计
AI绘画设计-沙发设计
AI绘画设计-电视柜设计
AI绘画设计-包装设计的提示词构思
第三阶段（30天）：AI-视频高段位
恭喜你，如果学到这里，你基本可以找到一份AIGC副业相关的工作，比如电商运营、原画设计、美工、安全分析等岗位；如果新媒体运营学的好，还可以从各大自媒体平台收获平台兼职收益。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
-----------
AI视频界说与概述
AI视频制作-方案与创新
AI视频制作-各种工具实操
AI视频制作-美学风格(油画/插画/日漫/水墨)
AI视频制作-形象设定(人物形象服装/造型/表情)
AI视频画面特效处理
AI视频画面拼接
AI视频画面配音
AI视频画面包装
AI视频锁定人物逐一精修
多种表情动作/情节
动态模子转换-视频内部元素关键帧
动态模子转换-图像整体活动
动态模子转换-虚拟人
动态模子转换-表面特效
AI自媒体视频-深问GPT，获取方案
AI自媒体视频-风格设置(诗歌/文言文等)
AI自媒体视频-各行业创意视频设计思路
AI视频风格转换
AI视频字数压缩
AI视频同类型衍生
AI视频Pormpt公式
第四阶段（20天）：AI-虚拟数字人课程
-----------
AI数字人工具简介
AI工作台界面功能展示及先容
AI数字人使命确定
AI数字人素材预备
AI知识、语料的投喂
AI模子训练
AI训练成果展示及改进
AI数字人直播体系工具利用
AI人物在各平台直播
AI数字人在OBS平台直播
第五阶段（45天以上）：AIGC-多渠道变现课程
该阶段是项目演练阶段，各人通过利用之前学习过的AIGC底子知识，项目中分别应用到了新媒体、电子商务等岗位能帮助各人在主流的新媒体和电商平台引流和带货变现。
-----------
AI-小红书引流变现
AI-公众号引流变现
AI-知乎引流变现
AI-抖音引流/带货变现
AI-写作变现
AI-B站引流变现
AI-快手引流变现
AI-百家号引流变现
AI-制作素材模板出售变现
AI-周边定制变现
AI-手机壳图案定制变现
AI-周边产品定制变现
AI-服装图案定制变现
AI-个性头像定制变现
AI-起号与知识付费变现
AI-实现淘宝销售变现
学习是一个过程，只要学习就会有挑战。天道酬勤，你越积极，就会成为越良好的自己。
如果你能在15天内完成所有的使命，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名AIGC的正确特征了。
这份完整版的AIGC资料我已经打包好，
需要的点击下方二维码，即可前去免费领取！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)
Powered by Discuz! X3.4
