图像编辑一些概念:Image Reconstruction与Image Re-generation

图像编辑本质上是在“图像重修”（image reconstruction）和“图像再天生”（image re-generation）之间探求均衡。



1. Image Reconstruction（图像重修）

• 界说：图像重修通常是指从已有的图像中提取信息，并通过保持这些信息的完备性来规复或调解图像。
  
• 目标：尽大概诚实于原始图像，留意保存输入图像中的细节和结构。
  
• 应用场景：
  
  
  
  • 修复受损图像，比方去噪、去除划痕。
    
  • 图像超分辨率（提升图像分辨率）。
    
  • 微小的调解，如颜色校正或轻微修复。
    
  
  
• 特点：关注的是保存图像中的“已知信息”，并在这个底子上举行渺小的改动。
  

2. Image Re-generation（图像再天生）

• 界说：图像再天生是指基于输入图像的某些特性，天生一个新的图像。天生的图像大概在风格、内容或结构上与原始图像有明显差别。
  
• 目标：允许较大的改动，夸大创造性，大概会改变图像的风格或结构。
  
• 应用场景：
  
  
  
  • AI风格迁徙（Style Transfer）。
    
  • 深度图像天生（比方用GAN天生完全新颖的内容）。
    
  • 内容更换，如将人脸换成另一张脸，大概改变配景。
    
  
  
• 特点：天生新的内容，大概偏离原始输入图像，具有更多“创造性”。
  

二者的焦点区别

方面Image ReconstructionImage Re-generation保存原始图像保存原始图像的内容和结构允许对原始图像举行较大幅度的改变目标尽大概诚实于输入在输入底子上天生新的内容或样式自由度改动幅度小，限定较多改动幅度大，允许创造性变革方法比方卷积神经网络（CNN）用于修复或重修比方天生对抗网络（GAN）用于新图像天生
为什么必要在两者间探求均衡？

在图像编辑使命中，偶然渴望既保存原始图像的细节（重修），又可以或许实现所需的明显变革（再天生）。假如方向重修，大概缺乏创新性；假如完全再天生，大概失去了原图的特性。
比如：

• 头像美化：既要保存人物原来的面貌（重修），又渴望美化皮肤和光影（再天生）。
  
• 配景更换：保存主体（重修），但更换为新的配景（再天生）。
  

以是，图像编辑必要衡量“保存细节”和“天生新内容”这两方面的需求，由于两者在某些情况下大概是对立的，但抱负的编辑效果必要找到一个均衡点。

图像编辑题目的焦点困难：

困难点：缺少图像对（pairwise image data）
图像编辑使命中，抱负情况是通过成对的练习数据（即“输入图像”和“目标编辑效果图像”）来学习编辑模子。比方：

• 输入图像：一个平凡的人物照片。
  
• 目标图像：同一个人微笑的照片（仅改变笑容，不改变其他细节）。
  

题目在于：

• 实际中很少能网络到这种逐一对应的成对数据，由于人工天生如许的图像对必要大量时间和资源。
  
• 缺乏这种配对数据导致模子很难学习怎样在保存原图内容的底子上，仅做局部或特定的修改。
  

办理方法：从对齐（alignment）角度出发

"We address this problem from an alignment perspective."

•         方法：对齐弱编辑模子和强编辑模子
  
  
  
  • 弱编辑模子（weak editing model）：这里指现有的 Text-to-Image（T2I）模子，比方 DALL-E。这些模子通过重新天生图像（而不是直接编辑原图）来完成“编辑”，但很难包管天生的新图像与原图划一。
    
  • 强编辑模子（strong editing model）：抱负中的图像编辑模子，既能充实保存原图信息，又能完成特定的编辑使命（如修改心情、添加物体等）。
    
  
  
•         关键头脑：蒸馏和对齐
  
  
  
  • 从 T2I 模子的再天生本领中学习（即“蒸馏”其天生本领）。
    
  • 同时通过技能本领（如对齐过程）进步天生图像与原图之间的划一性（consistency）。
    
  
  

为什么必要办理划一性题目？

"We then distill and align such a weak editing model into a strong one by maximally inherit the re-generation capability while improving image consistency."

•         再天生本领（re-generation capability）：
          T2I 模子的上风在于可以天生完全差别的图像，这种再天生本领很强，能创造出大量细节。但是，这种本领对图像编辑来说是双刃剑，由于过于自由的天生会粉碎原图的根本信息。
  
•         图像划一性（image consistency）：
          ​​​​​​​编辑使命要求天生的图像与原图有高度划一性，例犹如一人脸、同一场景，仅改变特定细节（如颜色、姿势）。为了增强划一性，必要通过对齐方法让弱模子更好地保存原图信息，同时实现编辑目标。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金