树环水印改版——Robust Image Watermarking using Stable Diffusion测试 ...

论文：Robust Image Watermarking using Stable Diffusion
总结：论文亮点是提出了一个可训练的潜变量ZT，这个潜变量一开始是由原始图像经过DDIM Inversion产生，然后加水印，之后经过N次的迭代训练输出一个与原始图像尽可能相同的潜变量，用这个潜变量经过Stable Diffusion天生的带水印图像此时与原始图像类似，最后与原始图像自适应相加。

论文与树环水印重要有两个区别：一是树环水印的初始潜变量是用rand方法随机天生的，然后使用提示词天生与原始图像相似的图像；而本论文的初始潜变量是用DDIM Inversion天生的，而且这个潜变量还可以训练。
第二个区别是树环水印提出了三种水印模式，zero、rand和ring，分布嵌入的是二进制0、随机高斯分布、恒定高斯分布（个人明确）。而本论文嵌入的水印只是随机高斯分布，相当于树环的rand水印，而rand水印在之前的博客中说过它反抗旋转攻击很弱，而别的两种比较强，以是本文的水印假如能改成别的两种水印模式，应该能够反抗旋转攻击。
测试结果1：博主测试了两张图像，config是：嵌入单水印、嵌入到图像3通道、使用SD-2.1模子。每组的第一张图是输入的原始图像，可以看到在第一个迭代（iters）中，天生的图像是非常随机的，即使使用了DDIM Inversion也是云云。在经过多次迭代的训练后，潜变量渐渐与原始图像近似，以是天生的图像渐渐与原始图像相似，但终极结果还是与原始图像在色彩上有差异。

       以上图像是水印嵌入在RGB三通道的结果，色彩上与原图有较大差异，但假如嵌入在单通道的话可以看到色彩根本与原图相似（见下图）。以是还是嵌入单通道水印的结果图更好，但是对应的鲁棒性就会降低。

         

测试结果2：论文也提供了使用prompt天生图像的方法，相当于图生图。从下图可以看到有prompt的情况下初始潜变量的训练就无关紧要了。
              

          

测试结果3：博主分别测试了水印嵌入在单通道和三通道时的鲁棒性，可以看到嵌入在三通道时水印鲁棒性明显比单通道好。两种嵌入方式对于旋转攻击反抗效果均较差，博主感觉换种水印范例应该能好点，参考树环的别的两种水印。

 

知识补充1：什么是Watson-VGG perceptual loss？
在论文的loss设计中，作者使用了这个感知损失，Watson-VGG perceptual loss 是一种用于权衡图像感知质量的损失函数，它基于人类视觉感知的原理，尤其关注图像的视觉内容。这种损失函数用于评估图像重修或图像转换使命中天生图像的质量。
知识补充2：什么是图像去噪攻击BM3D？
读的论文较少，这个攻击我第一次遇到，BM3D是芬兰Tampere工业大学在2007年发表的论文里提出的算法，作为一种效果较好的图像去噪攻击。论文中利用了图像去噪的原理来尝试移除或削弱图像中的水印。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。