【AI落地应用实战】窜改检测技术前沿探索——从基于检测分割到大模型 ...

在数字化洪流席卷全球的当下，视觉内容已成为信息交流与流传的核心媒介，然而，随着PS技术和AIGC技术的飞速发展，图像窜改给视觉内容安全带来了前所未有的挑战。
本文将探究窜改检测技术的现实挑战，分享窜改检测技术前沿和最新应用成果。
   
   
  一、窜改检测领域挑战问题

1.1、视觉内容安全技术分类

在窜改检测的专业领域中，视觉内容安全技术构成了确保信息真实性与完整性的核心防御机制。视觉内容安全技术重要分为主动鉴别技术和被动鉴别技术两大类：主动鉴别和被动鉴别。

主动鉴别技术的核心在于“预防”，广泛应用于版权保护，伪造检测和溯源方面，验证真伪和追踪流通路径，通过在图像创作或分发之初就嵌入特定的标识信息（如数字水印），为后续大概的窜改检测提供直接证据。这类数字水印将不易察觉的标记嵌入图像数据中，既不影响图像的视觉质量，又能有效携带版权信息、身份认证或完整性校验码等关键信息。
与主动鉴别技术侧重于“预防”不同，被动鉴别技术侧重于“发现”，其不依赖于预先嵌入的信息，而是通过分析图像自己的色彩特性、光学信息、多少结构，深层语义等自然特征来发现窜改的痕迹。
这种方法实用于任何未经事先处理的图像，因此具有更高的机动性和实用范围。然而，由于需要对图像的自然特征进行深入分析和理解，被动鉴别技术也面临着技术复杂性和挑战性的磨练。
1.2、视觉安全需求挑战

随着图像处理技术的不断进步，窜改本领变得日益多样化和潜伏化，从简单的裁剪、拼接，到复杂的深度伪造和对抗性攻击，每一种窜改方式都大概留下不同的痕迹，这对被动鉴别技术提出了更高的要求。图像作为一种复杂的视觉信息载体，其内部特征和规律错综复杂。
怎样从中提取出有效的窜改特征，并准确识别出窜改的痕迹，是被动鉴别技术面临的一浩劫题。

当前，传统的图像窜改检测技术重要依赖于对像素级别进行边沿检测以及色彩统计等较为根本和低层次的特征识别，这些传统方法正面临四大核心挑战：

• 跨域泛化能力弱：窜改本领多样化，跨域窜改频发，传统依赖低层次特征的检测方法难以适应，提拔跨域泛化能力成为重点。
  
• 跨媒介窜改难检测：媒介在传输和存储过程中，图像质量大概会发生变化，导致窜改后的图像与原始图像之间的差异变得不明显。同时，窜改者大概利用媒介转换进行潜伏操纵，使得传统的窜改检测方法难以捕获到细微的非常。
  
• 质量退化影响准确性：图像在传输和压缩过程容易产生含糊、失真等质量退化现象，严重影响窜改检测的准确性。
  
• 精度与误检率均衡难：在实际应用中，高精度每每伴随着高误检率，这要求窜改检测系统在计划时需要在精度和误检率之间找到最佳均衡点。
  

二、基于大模型的窜改检测探索

传统基于检测分割的检测技术通过分析图像中的低层次视觉特征，来识别潜在的窜改痕迹，固然这些方法在识别图像窜改方面具有肯定的有效性，但它们通常未能充分利用高级语义信息，并且其检测效果在很大程度上依赖于人工设定的阈值，限制了适应性和准确性。

另一方面，大语言模型在计算机视觉和自然语言处理等多个领域显现出了卓越的能力和强大的泛化性能，其深层特征提取与理解能力明显超越了传统方法。
如果能够基于这些大型模型进行图像窜改检测，充分利用它们对图像中更复杂、更细微的语义信息的捕获和分析能力，有望为图像窜改检测领域带来革命性的进步。
基于此，ForgeryGPT应运而生，通过引入多模态信息和高级语义知识，联合可解释性和交互式对话能力，ForgeryGPT为图像窜改检测使命提供了一种全新的强大解决方案。
三、内容安全系统应用成果

近期，CSIG青年科学家会议的AI可信论坛在杭州谨慎举行，会议致力于支持图象图形领域的精良青年学者，提供学术交流与研讨的平台，并鼓励图象图形领域的“产学研”合作。在会上，合合信息带来了一系列内容安全系统成果展示。
3.1、安全系统应用方面

在安全系统应用层面，合合信息推出的通用窜改检测系统，凭借其先进的图像识别技术，能够精准地识别出证照、证书、单子、截图、扫描文档以及文档印章等多种范例的窜改行为。该系统已在证券、保险、银行、零售等多个行业得到了广泛应用，有效保障了这些行业的信息安全。与此同时，公司自研的人脸鉴伪检测系统通过综合分析人脸特征、皮肤纹理、眼睛动态等多个维度，准确识别出包罗照片活化、AI换脸以及局部替换在内的多种伪造本领，为人脸识别技术的安全应用提供了有力保障。

3.2、国际竞赛方面

在国际竞赛方面，合合信息同样取得了骄人的结果。在ICDAR 2023 DTT竞赛中，公司的窜改检测系统以出色的性能在固定误检率下的召回率指标上取得了精良结果，充分展示了其技术的准确性和可靠性。

在全球AI大模型攻防挑战赛中，合合信息同样显现出了强大的实力。全球AI大模型攻防挑战赛由中国图象图形学学会、蚂蚁团体、云安全联盟（CSA）大中华区联合主办，联合了清华大学、上海交通大学、浙江大学等高校及多家产学研构造共同发起，旨在直面并解决大模型应用中潜藏的风险，助力全球AI产业健康可持续发展。
在金融场景中，信贷审核、用户开户等环节都需要提交身份凭证，这些凭证的真实性直接影响到审核的安全性。合合信息充分理解这一痛点，通过自主研发的图像窜改检测系统，针对百万级金融场景的凭证材料，提取图像的多模态信息，联合低维视觉特征和高阶语义非常进行分析，准确识别伪造区域，同时保持极低的误检率，从全球超千支参赛团队中脱颖而出，荣获了赛道二（即“AI核身-金融场景凭证窜改检测”赛道）冠军。

3.3、技术规范方面

除了技术和应用上的成就，合合信息还积极加入行业技术规范的订定。由中国信通院、合合信息、中国图象图形学学会联合各大高校共同发起的《文本图像窜改检测系统技术要求》尺度，围绕伪造图像鉴别、天生式图像鉴别等议题，为行业提供了有效的技术指引了，这一尺度的订定，不但有助于规范文本图像窜改检测系统的技术要求，也推动了整个行业的健康发展。

将来，随着技术的不断发展，合合信息将继续深耕视觉内容安全技术领域，为全球企业和个人用户提供更加安全、高效、智能的数字化服务。