qidao123.com技术社区-IT企服评测·应用市场

标题: 用ControlNet+Inpaint实现stable diffusion模特换衣 [打印本页]

作者: 小小小幸运    时间: 2024-9-13 20:30
标题: 用ControlNet+Inpaint实现stable diffusion模特换衣


  
在当代计算机视觉领域,稳固扩散(Stable Diffusion)技术已经成为图像修复的告急工具之一。然而,固然稳固扩散可以或许有效地补充图像中的缺失区域,但是对于用户来说,对修复过程进行更精准的控制每每是一项挑战。
为了办理这一题目,我们引入了ControlNet,这是一种专门设计用于在大型预训练文本到图像扩散模子中引入空间调节控制的神经网络架构。通过结合ControlNet与稳固扩散技术,我们实现了一种全新的图像修复方法,使用户可以或许通过各种条件输入来精确控制修复过程,例如Canny边沿、霍夫线、用户涂鸦、人体关键点、分割图、形状法线和深度等。本研究不但证明了ControlNet在小型和大型数据集上的稳健性,还展示了其在图像修复领域的巨大潜力,为更广泛的图像处置惩罚应用提供了全新的大概性。

ControlNet 是一种神经网络架构,可以通过空间局部化、特定于任务的图像条件加强大型预训练文本到图像扩散模子。我们首先先容下ControlNet的基本结构,
然后后面描述如何将ControlNet应用到图像扩散模子Stable Diffusion,以及Inpaint的方法
ControlNet 训练与架构详解

ControlNet 的架构

ControlNet 将附加条件注入到神经网络的块中。具体来说,ControlNet 的设计目标是在预训练模子的底子上,添加可训练的副本,以便处置惩罚新的控制信息(如草图、边沿图等)。这种设计可以生存预训练模子的优点,同时加强模子的多样性和灵活性。
焦点概念

控制模块的添加
假设  F ( ⋅ ; Θ ) F(·;\Theta) F(⋅;Θ)是一个具有参数 Θ \Theta Θ的预训练神经块,将输入特征图 x x x转换为输出特征图 y y y。
  y = F ( x ; Θ ) y=F(x;\Theta) y=F(x;Θ)
可训练副本继承外部条件向量 c c c作为输入
ControlNet 的完备计算如下:
  y c = F ( x ; Θ ) + Z ( F ( x + Z ( c ; Θ z 1 ) ; Z c ) ; Θ z 2 ) y_c = F(x;\Theta)+\Zeta(F(x+\Zeta(c;\Theta_{z1});\Zeta_c);\Theta_{z2}) yc​=F(x;Θ)+Z(F(x+Z(c;Θz1​);Zc​);Θz2​)
此中, Z ( ⋅ ; ⋅ ) \Zeta(·;·) Z(⋅;⋅)是零卷积层, Θ z 1 \Theta_{z1} Θz1​和 Θ z 2 \Theta _{z2} Θz2​是其参数。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。




欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/) Powered by Discuz! X3.4