Stable Diffusion的加噪和去噪详解

本文具体先容Stable Diffusion的加噪和去噪过程中的调理算法和采样算法，包括部门公式的讲解。
  

   目录
  调理和采样
  加噪过程
  调理算法
  采样算法
  加噪过程概述
  加噪过程的主要构成部门
  加噪过程的步调
  去噪过程
  调理算法
  采样算法
  去噪过程概述
  去噪过程的主要构成部门
  去噪过程的步调
  汗青文章
  

---

  
  扩散（过程）流程参考：Stable diffusion具体讲解_stable diffusion 矩阵-CSDN博客
论文（公式）解读参考：Diffusion Model原理-CSDN博客
调理和采样

噪声处理过程中的两个关键算法：调理算法、采样算法。
过程调理算法的作用采样算法的作用加噪控制每个时间步向图像中注入的噪声比例，逐步将图像转化为纯噪声。加噪过程不需要采样算法，因为噪声注入是确定性的，按照调理器规则举行。去噪控制每个时间步去除的噪声比例，确保噪声逐步淘汰，图像逐步规复。采样算法用于推断每一步怎样从当前噪声天生下一步图像【逐步去噪且不确定性的 DDPM 和 跳跃去噪且确定性的 DDIM】。

• 调理策略控制加噪和去噪过程的每一步的噪声强度/速率变化，确保模子平滑、稳定地举行去噪。
  
• 采样方法控制怎样从当前噪声天生下一步图像，去噪过程的步数和路径，影响天生速率和效果。
  

总结：

• 调理算法：无论是加噪照旧去噪过程，调理算法的作用都是控制噪声比例的变化（添加或去除）。调理算法决定了图像中噪声和图像信息的相对比例，影响噪声的变化速率。
  
• 采样算法：采样算法只在去噪过程中发挥作用，因为去噪涉及逐步从噪声天生图像，这是一个不确定性的推断过程【也有确定性的采样：DDIM】。加噪过程是确定性的，因此不需要采样算法。
  

加噪过程

调理算法

• 调理算法的作用：加噪过程利用调理算法来控制每个时间步添加噪声噪声的比例，也就是定义每个时间步图像中保存多少原始图像信息，添加多少噪声。这是一个确定性过程，完全由调理器决定。
  
• 常见的调理算法：
  
  
  
  • 线性调理：每一步噪声添加的比例按照线性规律变化，即噪声比例逐步增长，图像信息逐步淘汰。
    
  • 余弦调理：噪声比例变化按照余弦曲线，使得噪声的添加在初期和末期较为和缓，中期快速增长。
    
  
  
• 加噪公式：
  
  
  
  
• 总结：在加噪过程中，调理算法控制每个时间步噪声的噪声比例，决定了从原始图像 
  
  ​ 到噪声图像 
  
  ​ 的转变过程。由于这是一个确定性过程，调理算法完全控制了噪声注入的规则，而不涉及采样或推理操纵。
  

采样算法

• 采样算法的作用：加噪过程中不需要采样算法，因为加噪是确定性的，每个时间步的噪声注入量完全由调理算法控制，不需要模子举行推断或采样操纵。
  
• 总结：加噪过程不涉及采样算法，它只是在固定的调理规则下向图像中添加噪声，因此不需要复杂的采样机制。
  

加噪过程概述

加噪过程是扩散模子的前向扩散过程，它从原始图像 

​ 开始，通过一系列预定的噪声注入步调，将图像逐步转化为纯噪声 

 。整个过程通过某种调理策略（如线性或余弦调理）来控制噪声的注入速率。
加噪过程的主要构成部门

• 调理策略（Scheduler）
  
• 噪声天生与注入
  

   具体参考如上
  加噪过程的步调

1. 初始化原始图像：

• 加噪过程从原始的无噪声图像 
  
   开始，图像最初不含任何噪声。
  

2. 逐步加噪（

​）：

• 加噪过程是从时间步 t = 0 开始，每个时间步逐步向图像中添加噪声。最终在时间步 t = T 时，图像 
  
   变为纯噪声。
  
• 在每一个时间步 t，根据调理策略决定注入的噪声比例：
  
  
  
  

             随着 t 的增长，图像中的噪声逐步增长，而图像的原始信息逐步淘汰。
3. 完成加噪过程：

• 当时间步 t = T 时，图像 ​
  
   基本酿成了完全的随机噪声。此时原始图像的布局几乎完全丧失，图像仅由噪声构成。
  
• 这个纯噪声图像将作为去噪过程的起始点，模子将在去噪过程中从这个纯噪声图像逐步规复出清晰的图像。
  

去噪过程

调理算法

• 调理算法的作用：与加噪过程雷同，去噪过程中，调理算法同样控制每个时间步中去除噪声的比例。它决定了在每个时间步，怎样逐步去除噪声，使得图像能够从纯噪声逐步规复为原始图像。
  
• 常见的调理算法：
  
  
  
  • 线性调理：噪声去除的比例按线性变化，噪声逐步淘汰，图像信息逐步规复。
    
  • 余弦调理：噪声去除比例按余弦曲线变化，初期和末期的去噪较为平滑，中期去噪速率较快。
    
  
  
• 去噪公式：
  
  
  
  
• 总结：在去噪过程中，调理算法控制每一步去除噪声的比例，确保噪声逐步淘汰，图像信息逐步规复。调理算法决定了去噪过程的速率，但并不负责具体的推断过程。【由采样算法举行推断】
  

采样算法

• 采样算法的作用：在去噪过程中，采样算法负责逐步天生图像【DDPM 是逐步去噪，而 DDIM 则是跳跃去噪】。决定去噪过程的步数和路径，影响天生速率和图像质量。在每个时间步，模子需要通过采样算法从噪声图像 
  
   中天生下一步的图像
  
  。
  
• 怎样生效：采样算法主要作用在上方去噪公式最后的随机噪声项
  
  ，这个随机噪声项的处理决定了采样过程的确定性或不确定性。
  
• 常见的采样算法：
  
  
  
  • DDPM（Denoising Diffusion Probabilistic Models）：
    
    
    
    • 在 DDPM 中，
      
       是非零的，因此在每一步天生过程中都会参加随机噪声项 
      
      。实现不确定性采样，使天生具有多样性，但通常需要更多步数。
      
    • 基于马尔可夫链的逐步采样方法，通过每一步从前一步的结果推导出下一步图像。通常需要较多的时间步（如 1000 步）才气天生高质量图像。
      
    • 公式如上
      
    
    
  • DDIM（Denoising Diffusion Implicit Models）：
    
    
    
    • 在 DDIM 中，
      
      被设置为 0，因此去噪公式中的随机噪声项 
      
       被完全去掉。实现确定性采样，天生过程更快且一致性更高。
      
    • 与 DDPM 雷同，但它不依靠马尔可夫链，答应在更少的时间步内天生图像（如 50 或 100 步），加速了天生过程。
      
    • 公式：去掉了随机采样的噪声项，使天生过程变为确定性。 
      
      
      
    
    
  
  
• 采样过程的示例：
  
  
  
  • DDPM 采样：从 
    
    ​ 采样到 
    
    ，逐步淘汰噪声，每一步的天生依靠于前一步的结果。
    
  • DDIM 采样：跳过一些时间步，直接从 
    
    ​ 推断出更远的时间步的图像，加速了去噪过程。
    
  
  
• 总结：采样算法在去噪过程中饰演着核心角色，它决定了模子怎样推断从当前噪声图像天生下一步的图像。
  
  
  
  • DDPM 利用基于马尔可夫链的逐步，不确定性采样，引入随机噪声项，得当需要多样性和更具天然随机性的天生任务。
    
  • DDIM 利用基于非马尔可夫链的逐步，确定性采样，去掉了随机噪声项，使得天生过程更为直接和一致，有助于在更少的时间步数内达到高质量的天生结果。
    
  
  

去噪过程概述

去噪过程是在扩散模子的天生阶段，模子从一个随机噪声图像开始，逐步去除噪声，最终规复出原始图像。这一过程的目标是通过反向扩散，从纯噪声天生高质量的图像。
去噪过程的主要构成部门

• 调理策略（Scheduler）
  
• 噪声猜测与去除
  
• 采样方法（Sampling Method）
  

   具体参考如上
  去噪过程的步调

1. 初始化噪声图像：

• 模子从一个纯随机噪声图像 
  
  ​ 开始，假设该图像位于时间步 T，此时图像完全被噪声覆盖。
  

2. 逐步去噪（

）：

• 模子从时间步 T 开始，逐步通过多个时间步 t，去除噪声，最终天生清晰图像 
  
  。
  
• 在每一个时间步 t，通过调理策略决定去除噪声的比例：
  
  
  
  
• 利用采样方法来控制怎样天生下一步图像 
  
  ​。比方：
  
  
  
  • DDPM：每个时间步依靠于前一个时间步的采样结果，天生下一步的图像。
    
  • DDIM：通过隐式推断加速采样，在淘汰时间步的同时仍能天生高质量图像。
    
  
  

3. 完成去噪过程：

• 模子通过多个时间步逐步去噪，直到时间步 t = 0，天生出清晰的图像 
  
  。
  
• 去噪过程中的每一个时间步，都是由调理策略控制噪声去除的强度，而采样方法控制怎样具体天生下一步的图像。
  

   调理策略和采样方法需要联合利用，共同决定去噪的效果。调理策略负责控制噪声去除的幅度，采样方法负责怎样通过这一幅度举行去噪，并天生下一步图像。
  汗青文章

Stable Diffusion概要讲解-CSDN博客
Stable diffusion具体讲解-CSDN博客


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。