Stable Diffusion教程|快速入门SD绘画原理与安装
什么是Stable Diffusion，什么是炼丹师？根据市场研究机构猜测，到2025年举世AI绘画市场规模将达到100亿美元，此中Stable Diffusion（简称SD）作为一种先辈的图像生成技术之一，市场份额也在不断增长，越来越多的人到场到AI掘金这场运动中来。炼丹师，就是指那些专门研究、开发与应用Stable Diffusion模子的专业人士或爱好者，他们在实践中不断优化模子，使其产生更高质量、更具创意的图像。目次
*1 SD绘画原理
*
2 本地摆设安装SD WebUI
3 生成第一张SD绘画
**一、**SD绘画原理
**
**
基本概念
名词解释阐明Stable Diffusion是一种基于扩散模子的先辈的人工智能技术，特殊适用于文本到图像（Text-to-Image）的生成使命。该模子由CompVis、Stability AI、LAION等研究机构和公司合作研发，它利用扩散过程在潜伏空间（latent space）中生成图像，而不是直接在高维像素空间中操作。SD WebUIStable Diffusion Web UI (SD WebUI) 是一个用于交互式控制和使用 Stable Diffusion 模子的网页应用程序界面。用户可以通过这个界面输入文本提示（prompt）来驱动模子生成相应的图像，提供了简朴易用的方式来体验和定制基于 Stable Diffusion 的文本到图像生成过程。Python是一种广泛使用的高级编程语言，以其语法轻便清晰和代码可读性强而著称。在AI领域，Python尤为流行，因为它拥有丰富的科学计算、机器学习和数据处理惩罚干系的库，好比NumPy、Pandas和TensorFlow等。在摆设和使用像Stable Diffusion这样的深度学习模子时，Python常被作为开发和运行环境的底子。Controlnet插件是针对 Stable Diffusion 模子开发的一种功能扩展插件，它允许用户在文本生成图像的过程中实现更为细致和精确的控制。该插件使得用户不但可以或许通过文本提示（prompt）指导模子生成图像，还能添加额外的输入条件，好比控制图像的构图、颜色、纹理、物体位置、人物姿势、景深、线条草图、图像分割等多种图像特征。通过这种方式，ControlNet 提升了 AI 绘画系统的可控性和灵活性，使得艺术创作和图像编辑更加精致化。Controlnet模子是配合上述插件工作的一个组成部分，它是颠末训练以实现对大型预训练扩散模子（如 Stable Diffusion）进行细粒度控制的附加神经网络模子。ControlNet 模子可以学习怎样根据用户的特定需求去调整原始扩散模子的输出，即便是在训练数据有限的情况下，依然可以或许确保生成效果的质量和稳定性。例如，ControlNet 可能包罗用于识别和利用边沿映射、分割映射或关键点信息的子模块，从而实现对生成图像的特定区域进行针对性修改或强化。VAEVariational Autoencoder (VAE): 变分自编码器是一种概率生成模子，它结合了编码器（将输入数据编码为潜伏空间中的概率分布）息争码器（从潜伏空间重构数据）的概念。在图像生成场景中，VAE可以用来学习数据的潜伏表示，并基于这些表示生成新的图像。CHECKPOINTSD可以或许绘图的底子模子，因此被称为大模子、底模子大概主模子，WebUI上就叫它Stable Diffusion模子。安装完SD软件后，必须搭配主模子才能使用。差别的主模子，其画风和擅长的领域会有侧重。checkpoint模子包罗生成图像所需的统统，不需要额外的文件。hyper-network超网络是一种模子微调技术，最初是由NOVA AI 公司开发的。它是一个附属于Stable Diffusion 稳定扩散模子的小型神经网络，是一种额外训练出来的辅助模子，用于修正SD稳定扩散模子的风格。LORA全称是Low-Rank Adaptation of Large Language Models 低秩的适应大语言模子，可以明白为SD模子的一种插件，和hyper-network，controlNet一样，都是在不修改SD模子的前提下，利用少量数据训练出一种画风/IP/人物，实现定制化需求，所需的训练资源比训练SD模要小很多，非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域，用于微调GPT-3等模子（也就是ChatGPT的宿世）。由于GPT参数量超过千亿，训练成本太高，因此LoRA采用了一个办法，仅训练低秩矩阵（low rank matrics），使用时将LoRA模子的参数注入（inject）SD模子，从而改变SD模子的生成风格，大概为SD模子添加新的人物/IP。prompt提示词/咒语 工作原理
Stable Diffusion就是一个吸收文本提示词，并生成相应图像的生成模子。
https://i-blog.csdnimg.cn/img_convert/07fad7d4fc3595800f010e0310b05030.png
SD来自于扩散模子（Diffusion Model）
https://i-blog.csdnimg.cn/img_convert/38ffa9c2accf9fa8d9e84432808f6ad8.png
扩散模子：（Diffusion Model）的焦点原理被生动地比喻为物理学中的扩散过程，通过前向扩散过程逐渐将图像转化为噪声图像，然后通过反向扩散过程恢复出清晰的图像。在Stable Diffusion中，模子训练了一个噪声猜测器（noise predictor），它是一个U-Net结构的神经网络，可以猜测并从图像中去除噪声，从而重构原始图像。
已关注 关注 重播 分享 赞 关闭观看更多更多_退出全屏切换到竖屏全屏退出全屏_AI绘画学习已关注分享视频，时长00:070/000:00/00:07 切换到横屏模式 继续播放进度条，百分之0[播放](javascript:;)00:00/00:0700:07_全屏_ 倍速播放中 [ 0.5倍 ](javascript:
页:
[1]