Stable Diffusion文生图大模子详细讲解

前言

1、引言

跨模态大模子是指可以或许在不同感官模态(如视觉、语言、音频等)之间进行信息转换的大规模语言模子。当前图文跨模态大模子重要有：

• 文生图大模子：如 Stable Diffusion系列、DALL-E系列、Imagen等
  
• 图文匹配大模子：如CLIP、Chinese CLIP、BridgeTower等
  

今天重要讨论Stable Diffusion，首先让我们看一下，Stable Diffusion能做什么呢？

• 最简朴的形式：给它一个文本提示(Text Prompt) ，它将返回与文本匹配的图像。
  
• 除此之外，Stable Diffusion还可以用于图像超分、图像修复、样本生成等范畴。
  

Stable Diffusion的发展历程，重要经过如下三个阶段：

• DDPM：无条件图片生成（不支持文本提示）
  
• LDM：有条件图片生成（支持文本等其他形式提示）
  
• Stable Diffusion：基于LDM发展而成的强大的文生图大模子
  

所有的AI设计工具，模子和插件，都已经整理好了，