Stable Diffusion的微调方法原理总结

目录
1、Textural Inversion（简易）
2、DreamBooth（完整）
3、LoRA（灵巧）
4、ControlNet（彻底）
5、其他

---

1、Textural Inversion（简易）

        不改变网络结构，仅改变CLIP中token embedding的字典。在字典中新增一个伪词的embedding，fine-tune这个embedding的值。其他全部可调参数都冻结。
优点：练习量极小，需要的素材就是一张图。完全不改变神经网络中的任何参数。
缺点：效果一样平常。
TI的简便激发了很多研究者的灵感，基于TI思路的研究出现了很多。
2、DreamBooth（完整）

        详细做法是，加入一个新词（sks）代表subject，embedding初始值继承原范例的词的embedding。调解了模子中全部可调参数，彻底的让模子学会subject。损失函数加入了监督功能，去监控漂移征象，防止劫难性遗忘“学会新的忘了旧的”。

在LoRA出现前，练习DreamBooth是潮流，但代价较大。
3、LoRA（灵巧）

        LoRA的网络是一种additional network，LoRA练习不改变根本模子的任何参数，只对附加网络内部参数进行调解。在生成图像时，附加网络输出与原网络输出融合，从而改变生成效果。
        由于LoRA是将矩阵压缩到低秩后练习，以是LoRA网络的参数量很小（千分之一），练习速率快。实验发现，低维矩阵对高维矩阵的替代损失不大。以是即便练习的矩阵小，练习效果仍旧很好，已成为一种customization image generation范式。LoRA厥后在结构上改进出差别的版本，比方LoHA，LyCORIS等。

LoRA详解：https://zhuanlan.zhihu.com/p/632159261
Self-Attention的LoRA微调代码：GitHub - owenliang/pytorch-diffusion: pytorch复现stable diffusion
代码分析：
用于更换的线性层 (Wq, Wk, Wv矩阵)：

1. class CrossAttention(nn.Module):
2.     def __init__(self,channel,qsize,vsize,fsize,cls_emb_size):
3.         super().__init__()
4.         # Wq, Wk, Wv 矩阵使用LoRA微调降低参数量, W + WA * WB
5.         self.w_q=nn.Linear(channel,qsize)
6.         self.w_k=nn.Linear(cls_emb_size,qsize)
7.         self.w_v=nn.Linear(cls_emb_size,vsize)
8.         self.softmax=nn.Softmax(dim=-1)
9.         self.z_linear=nn.Linear(vsize,channel)
10.         self.norm1=nn.LayerNorm(channel)
11.         # feed-forward结构
12.         self.feedforward=nn.Sequential(
13.             nn.Linear(channel,fsize),
14.             nn.ReLU(),
15.             nn.Linear(fsize,channel)
16.         )
17.         self.norm2=nn.LayerNorm(channel)

复制代码

找到模子中全部的Wq, Wk, Wv线性层并将其更换为Lora：

1. if __name__=='__main__':   # 加入LoRA微调的训练过程
2.     # 预训练模型
3.     model=torch.load('model.pt')
5.     # 向nn.Linear层注入Lora
6.     for name,layer in model.named_modules():
7.         name_cols=name.split('.')
8.         # 过滤出cross attention使用的linear权重
9.         filter_names=['w_q','w_k','w_v']
10.         if any(n in name_cols for n in filter_names) and isinstance(layer,nn.Linear):   # module名字中存在w_q, w_k, w_v且属于线性层
11.             # print(name)   # enc_convs.0.crossattn.w_q，enc_convs.0.crossattn.w_k，enc_convs.0.crossattn.w_v，……
12.             inject_lora(model,name,layer)

复制代码

Lora详细实现与更换过程：

1. # Lora实现，封装linear，替换到父module里
2. class LoraLayer(nn.Module):
3.     def __init__(self,raw_linear,in_features,out_features,r,alpha):
4.         super().__init__()
5.         self.r=r   # 秩数
6.         self.alpha=alpha   # LoRA分支的权重比例系数
7.         self.lora_a=nn.Parameter(torch.empty((in_features,r)))   # 可训练参数
8.         self.lora_b=nn.Parameter(torch.zeros((r,out_features)))
9.    
10.         nn.init.kaiming_uniform_(self.lora_a,a=math.sqrt(5))   # WA 矩阵参数需要进行初始化
12.         self.raw_linear=raw_linear   # 原始模型权重 W
13.    
14.     def forward(self,x):    # x:(batch_size,in_features)
15.         raw_output=self.raw_linear(x)   
16.         lora_output=x@((self.lora_a@self.lora_b)*self.alpha/self.r)    # LoRA分支：x * (WA * WB * α/r)
17.         return raw_output+lora_output   # W + LoRA
19. def inject_lora(model,name,layer):
20.     name_cols=name.split('.')   # [enc_convs, 0, crossattn, w_q]
22.     # 逐层下探到linear归属的module
23.     children=name_cols[:-1]   # [enc_convs, 0, crossattn]
24.     cur_layer=model
25.     for child in children:
26.         cur_layer=getattr(cur_layer,child)   # 逐层深入得到w_q, w_k, w_v层的属性
27.    
28.     #print(layer==getattr(cur_layer,name_cols[-1]))
29.     lora_layer=LoraLayer(layer,layer.in_features,layer.out_features,LORA_R,LORA_ALPHA)
30.     setattr(cur_layer,name_cols[-1],lora_layer)   # 把 crossattn 的 w_q/w_k/w_v层 的属性替换为LoraLayer

复制代码

模子练习过程：冻结非Lora分支的全部参数

1.     # lora权重的加载
2.     try:
3.         restore_lora_state=torch.load('lora.pt')   # 加载训练好的Lora权重(lora_a, lora_b矩阵)，enc_convs.0.crossattn.w_q.lora_a等
4.         model.load_state_dict(restore_lora_state,strict=False)
5.     except:
6.         pass
8.     model=model.to(DEVICE)
10.     # 冻结非Lora参数
11.     for name,param in model.named_parameters():
12.         if name.split('.')[-1] not in ['lora_a','lora_b']:  # 非LoRA部分不计算梯度
13.             param.requires_grad=False
14.         else:
15.             param.requires_grad=True

复制代码

模子推理过程：将Lora分支参数合并到原始模子参数中（相加）

1. if __name__=='__main__':
2.     # 加载模型
3.     model=torch.load('model.pt')
5.     USE_LORA=True
7.     if USE_LORA:   # 使用LoRA推理
8.         # 把Linear层替换为Lora
9.         for name,layer in model.named_modules():
10.             name_cols=name.split('.')
11.             # 过滤出cross attention使用的linear权重
12.             filter_names=['w_q','w_k','w_v']
13.             if any(n in name_cols for n in filter_names) and isinstance(layer,nn.Linear):
14.                 inject_lora(model,name,layer)
16.         # lora权重的加载
17.         try:
18.             restore_lora_state=torch.load('lora.pt')
19.             model.load_state_dict(restore_lora_state,strict=False)
20.         except:
21.             pass
23.         model=model.to(DEVICE)
25.         # lora权重合并到主模型（把LoRA权重加到原始模型权重中）
26.         for name,layer in model.named_modules():
27.             name_cols=name.split('.')
29.             if isinstance(layer,LoraLayer):   # 找到模型中所有的 LoraLayer 层
30.                 children=name_cols[:-1]
31.                 cur_layer=model
32.                 for child in children:
33.                     cur_layer=getattr(cur_layer,child)    # cur_layer = cross attention对象(包含修改过的wq, wk, wv)
34.                 lora_weight=(layer.lora_a@layer.lora_b)*layer.alpha/layer.r   # 计算得到lora分支权重
35.                 before_weight=layer.raw_linear.weight.clone()   # 原始模型权重W
36.                 layer.raw_linear.weight=nn.Parameter(layer.raw_linear.weight.add(lora_weight.T)).to(DEVICE)    # 把Lora参数加到base model的linear weight上
37.                 setattr(cur_layer,name_cols[-1],layer.raw_linear)   # 使用新的合并分支替换原来的两分支Lora结构

复制代码

4、ControlNet（彻底）

        将神经网络快的差别权重，分别复制到“锁定”副本（locked copy）和“可练习”副本（trainable copy）中。按制定规则集成原图特征并生成新的内容，不会导致生成图和原图看起来毫无关系。
5、其他

• Custom Diffusion根本建立在DreamBooth的根本上，通过消融实验证明了纵然只练习交叉注意力层中的部分矩阵，也有非常好的fine-tune效果，不需要像DreamBooth那样全部参数调解。这种思路也引领了后续的一系列研究，但DreamBooth仍旧是其时的范式。
  
• 与ControlNet同期有一种方法叫做T-2-l adapter，微调的参数更少，效果较CN差些，比CN发布晚了一点，被ControlNet的光芒遮挡了。
  
• LORA的典型修改方案是LyCORIS，这个以二次元人物命名的方法把LoRA的思想应用在卷积层做改进，而且结合了一些其他算法进行了参数调解。
  
• 微调方法只是打包起来的tricks。模子建模研究是建构的过程，而不是发现的过程，有很大的自由度，不要被已有做法的说法限制自己的想象。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。