天生对抗网络（Generative Adversarial Nets，GAN)

目次
根本概念先容：
理论先容与WGAN：
JS divergence 的题目：
天生器效能评估与条件式天生：
Cycle GAN：
一、焦点头脑
1. 无配对数据转换
2. 循环划一性（Cycle Consistency）
二、网络布局
1. 双天生器 + 双鉴别器
2. 丧失函数
3. 可选扩展：身份丧失（Identity Loss）
三、训练本领与改进
四、应用场景
五、范围性

---

根本概念先容：

之前的network只是一个函数，给一个输入，他给出一个输出。
如今的这个输入有一个随机的东西拼接，导致了同样的输入有多种大概的输出。

generator AND discriminator（发生器和辨别器）
第一步：发生器天生一些图片，辨别器用来辨别这些图片的相似处。二者是对抗的关系。
第二步：

调治generator，使得discriminator的分数输出的越大越好。
第三步：反复实行
理论先容与WGAN：

找一组generator的参数，使得G*最小。
一大堆的real data个generate data同时去train，训练的目标是找到一个discriminator的参数，看到real data就给高分，看到generate data就给低分。

JS divergence 的题目：

只要是Pg和Pdata不是很匹配，那么输出的值就一直是log2，但是实际上JS2是好于JS1的，但是我们的返回值是雷同的，以是原来的系统就不知道哪个更好哪个更坏。
使用WGAN可以看出来哪个是更好的，哪个时更坏了。

天生器效能评估与条件式天生：

generator的优劣在很久之前都是通过人眼来判断的。

• Inception Score (IS)
  
  
  
  • 原理：使用预训练的Inception-v3模子（在ImageNet上训练），假设高质量天生样本的类别猜测应具有高置信度且多样性。
    
  • 公式：IS=exp⁡(Ex[KL(p(y∣x)∥p(y))])
    
    
    
    • p(y∣x)：天生样本的类别概率分布。
      
    • p(y)：全部天生样本的类别边沿分布。
      
    
    
  • 范围：依赖分类模子，对非自然图像（如抽象艺术）不敏感；无法检测模式瓦解。
    
  
  
• Fréchet Inception Distance (FID)
  
  
  
  • 原理：盘算真实数据与天生数据的特性分布之间的Fréchet间隔（基于Inception-v3的特性空间）。
    
  • 公式：
    FID=∥μr−μg∥2+Tr(Σr+Σg−2(ΣrΣg)1/2)
    
    
    
    • μr,μg​：真实和天生数据的特性均值。
      
    • Σr,Σg：协方差矩阵。
      
    
    
  • 优点：对模式瓦解敏感，数值越低表现天生质量越高。
    
  
  
• Precision & Recall
  
  
  
  • 定义：
    
    
    
    • Precision：天生样本中有多少与真实数据分布相似。
      
    • Recall：真实数据中有多少能被天生样本覆盖。
      
    
    
  • 实现：通过聚类或密度估计方法（如KNN）量化天生样本与真实数据的覆盖度。
    
  
  

Cycle GAN：

一、焦点头脑

1. 无配对数据转换

• 传统条件GAN的范围：
  条件式天生（如Pix2Pix）需输入-输出的成对数据（如街景图↔语义分割图），但许多场景难以获取配对数据（如梵高画作↔真实风景照片）。
  
• CycleGAN的突破：
  仅需两个域的非配对数据集（如“马”的图片聚集和“斑马”的图片聚集），即可学习域间的映射关系。
  

2. 循环划一性（Cycle Consistency）

通过强制双向转换的循环重构，确保转换后的图像保存原始内容：

• 正向循环：X→GX→YY→GY→XX′≈XXGX→Y​​YGY→X​​X′≈X
  
• 反向循环：Y→GY→XX→GX→YY′≈YYGY→X​​XGX→Y​​Y′≈Y
  
• 目标：重构后的图像 X′X′ 和 Y′Y′ 应与原始图像 XX、YY 尽大概靠近。
  

---

二、网络布局

1. 双天生器 + 双鉴别器

• 天生器：
  
  
  
  • GX→YGX→Y​: 将域 XX 的图像转换为域 YY。
    
  • GY→XGY→X​: 将域 YY 的图像转换为域 XX。
    
  • 布局：通常接纳U-Net或ResNet，保存空间信息（如物体形状）。
    
  
  
• 鉴别器：
  
  
  
  • DXDX​: 判断图像是否属于域 XX。
    
  • DYDY​: 判断图像是否属于域 YY。
    
  • 布局：PatchGAN（局部感受野，提拔细节真实性）。
    
  
  

2. 丧失函数

• 对抗丧失（Adversarial Loss）：
  确保天生图像与目标域分布划一（雷同标准GAN）。
  Ladv(GX→Y,DY)=Ey∼Y[log⁡DY(y)]+Ex∼X[log⁡(1−DY(GX→Y(x)))]Ladv​(GX→Y​,DY​)=Ey∼Y​[logDY​(y)]+Ex∼X​[log(1−DY​(GX→Y​(x)))] （同理定义 Ladv(GY→X,DX)Ladv​(GY→X​,DX​)）
  
• 循环划一性丧失（Cycle-Consistency Loss）：
  强制双向转换可逆，通常使用L1丧失：
  Lcycle=Ex∼X[∥GY→X(GX→Y(x))−x∥1]+Ey∼Y[∥GX→Y(GY→X(y))−y∥1]Lcycle​=Ex∼X​[∥GY→X​(GX→Y​(x))−x∥1​]+Ey∼Y​[∥GX→Y​(GY→X​(y))−y∥1​]
  
• 总丧失：
  Ltotal=Ladv+λLcycleLtotal​=Ladv​+λLcycle​ （λλ 通常设为10，均衡对抗丧失与重构丧失）
  

3. 可选扩展：身份丧失（Identity Loss）

强制天生器对目标域图像保持恒等映射（如输入斑马图像到 GX→YGX→Y​，输出仍为斑马），增强颜色划一性：
Lidentity=Ey∼Y[∥GX→Y(y)−y∥1]+Ex∼X[∥GY→X(x)−x∥1]Lidentity​=Ey∼Y​[∥GX→Y​(y)−y∥1​]+Ex∼X​[∥GY→X​(x)−x∥1​]

---

三、训练本领与改进

• 汗青缓冲区（History Buffer）
  
  
  
  • 存储天生器的汗青天生样本，用于鉴别器训练，缓解模式瓦解。
    
  
  
• 权重初始化
  
  
  
  • 使用He初始化或Xavier初始化，避免梯度消散。
    
  
  
• 学习率调解
  
  
  
  • 前100轮固定学习率，后续线性衰减至0。
    
  
  
• 改进变体
  
  
  
  • DualGAN：雷同布局，但使用Wasserstein间隔优化。
    
  • UNIT：团结VAE与CycleGAN，隐空间对齐提拔转换结果。
    
  • MUNIT：支持多模态输出（同一输入天生多种风格）。
    
  
  

---

四、应用场景

• 风格迁移
  
  
  
  • 照片→艺术画风（如莫奈、梵高）、季候变更（夏→冬）。
    
  
  
• 医学图像处理处罚
  
  
  
  • MRI→CT图像合成、病理切片染色风格迁移。
    
  
  
• 图像增强
  
  
  
  • 低分辨率→高分辨率、去雾、老照片修复。
    
  
  
• 跨域翻译
  
  
  
  • 卫星图→地图、素描→彩色图像、文本→场景天生。
    
  
  

---

五、范围性

• 内容保存与细节丢失
  
  
  
  • 复杂场景转换大概导致物体形变（如人脸→猫脸时五官错位）。
    
  • 改进：团结留意力机制（如Attention-GAN）。
    
  
  
• 多模态天生本领有限
  
  
  
  • 默认CycleGAN天生单一风格结果，MUNIT等变体支持多样性。
    
  
  
• 依赖数据分布
  
  
  
  • 若两域数据分布差异过大（如猫→汽车），转换大概失败。
    
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告