ToB企服应用市场:ToB评测及商务社交产业平台

标题: 探索AI图像安全，助力可信AI发展 [打印本页]

作者: 嚴華 时间: 2024-6-11 12:53
标题: 探索AI图像安全，助力可信AI发展
0. 前言

随着人工智能( Artificial Intelligence, AI )技术的发展，已经逐渐成为生活中不可或缺的一部分，为我们的生活带来了诸多便利和创新，但与此同时也带来了一系列的安全挑战，例如恶意篡改、图像造假等。在追求技术进步和拓展人工智能应用边界的同时，我们必须高度关注人工智能的安全性，解决人工智能发展过程中的各种安全挑战，以实现人工智能的持续健康发展。
图像作为信息传递的主要前言之一，需要重点解决在人工智能的发展过程中利用 AI 举行图像造假的问题。针对这一问题，中国信息通信研究院(中国信通院) 2023 世界人工智能大会( WAIC 2023 )上举办了专门论坛，围绕着“多模态基础大模子的可信AI”主题举行讨论。在该论坛上，合合信息关于 AI 图像内容安全的技术方案引起了广泛的关注。本文将对人工智能发展及其面临的安全挑战举行扼要介绍，并回首在 WAIC 2023 合合信息关于 AI 图像安全的相关分享。
1. 人工智能发展与安全挑战

1.1 人工智能及其发展

人工智能( Artificial Intelligence, AI )是一门研究如何使盘算机可以或许模仿和执行人类智能运动的学科，其目的是使盘算机可以或许像人类一样执行认知任务。通过模仿人类的思维过程和行为模式，人工智能可以举行复杂的问题求解和智能决议。它涵盖了多个领域，包括呆板学习、盘算机视觉、自然语言处理和专家系统等。
人工智能的发展可以追溯到 20 世纪 50 年代，其时的研究人员开始思考如何让盘算机具备智能。随着盘算机技术和算法的不断改进，人工智能在 20 世纪 70 年代和 80 年代经历了发作性的发展。专家系统成为其时的主要研究方向，通过将专家的知识编码为规则和推理机制，使盘算机可以或许模仿专家在特定领域的决议和问题解决能力。
然而，在 20 世纪 80 年代末到 90 年代初，人工智能陷入了低谷，被称为“AI寒冬”。这是由于盘算能力的限定、算法的不成熟以及投资的不敷等因素造成的。
随着互联网的鼓起和盘算能力的快速提拔，人工智能在 21 世纪得以再度崛起。大数据的出现为呆板学习提供了更多的训练数据，图形处理单元( Graphics Processing Unit, GPU )的利用和并行盘算的发展，深度学习模子的提出和优化使得盘算机可以更好地处理图像、语音和自然语言等非结构化数据也推动了人工智能的发展，深度学习的鼓起引领了一系列重大突破，例如图像识别、语音识别和自然语言处理等。
目前，人工智能正持续快速发展中，涌现出各种新技术和应用。例如，特别是随着 GPT3.5、GPT4 等大模子和 ChatGPT 等大模子产品，自动驾驶技术正在实现智能化的交通系统，物联网和智能家居正在改变我们的生活方式，呆板人技术正在扩大应用范围，人工智能助手如语音助手和聊天呆板人逐渐融入我们的日常生活。

1.2 人工智能安全挑战

虽然人工智能算法在许多应用领域已经取得了巨大进步，但在为人们带来巨大便利的同时,也袒露出许多安全问题。一样寻常说来,对人工智能模子的攻击方式包括粉碎模子的机密性 (Confidentiality) 、完整性 (Integrity) 和可用性 (Availability)。通常可以将常见的针对人工智能模子的攻击分为三类：隐私攻击、针对训练数据的攻击以及针对算法模子的攻击：

隐私攻击：在大数据期间，人们的每个行为都是一种新型数据，对这些行为数据举行训练，人工智能算法就可以推断出人们的下一步动作，这引发了人们对于人工智能算法的安全性担心，这种安全性问题即针对隐私数据的攻击。攻击者利用人工智能模子猜测某些敏感信息,或者通过已有的部分数据来规复数据集中的敏感数据。
针对训练数据的攻击：训练数据集的质量和信息量对于人工智能算法算法至关重要，它们决定了神经网络在训练过程中各层参数的变革方式。正由于如此，许多攻击是针对训练数据的。攻击者可以通过修改现有数据或注入特制的恶意数据来粉碎系统的完整性，这种攻击被称为投毒攻击。许多系统需要不断迭代更新模子以顺应情况变革，就可能遭到投毒攻击。例如，在面部识别系统的模子迭代更新期间举行投毒攻击，攻击者通过注入恶意数据来使模子中的识别特性中心值发生偏移，从而使攻击者提供的图像可以通过系统验证。
针对算法模子的攻击：只管投毒攻击可以使模子堕落，但攻击者必须找到如何注入恶意数据的方式。实际应用中，通过在呆板学习模子推理阶段对输入数据举行渺小修改，就可以在短时间内导致模子产生错误的效果，这些经过渺小修改的数据称为对抗样本 (Adversarial Examples)，详细而言，通过故意在数据集中添加微小的扰动形成的输入样本会对模子造成干扰，从而迫使模子以高置信度输堕落误的效果。例如在图像分类中，攻击者通过添加微小扰动(即时这些扰动对于人眼而言并不可见)就可以增长模子的猜测误差，使本来被正确分类的样本被错误分类到另一种种别中。

2. WAIC 2023 多模态基础大模子的可信 AI

为了应对人工智能的安全性问题，在 WAIC 2023 上中国信息通信研究院围绕“多模态基础大模子的可信AI”主题举办了专项论坛。在论坛上，合合信息分享了 AI 图像安全技术方案，为 AI 可信化发展提供有力支持。
2.1 WAIC 2023 专题论坛

随着人工智能天生内容 (Artificial Intelligence Generated Content, AIGC)爆火出圈，人们对技术革新带来的优美生活倍感期待的同时，也增长了对于人工智能安全问题的担心，例如，有诈骗分子通过天生伪造内容欺骗受害者，如何有效破解信息安全难题、构筑可信AI生态体系成为当前的重要议题，素有“科技风向标、产业加快器”之称的 WAIC 敏锐的把握到构建可信AI的重要性，在大会期间，中国信息通信研究院主办了“聚焦大模子期间AIGC新浪潮”论坛，围绕“多模态基础大模子的可信AI”这一热门议题开设专场分享。
多模态基础大模子是指可以或许处理多种输入模态(如图像、文本、语音等)的强大 AI 模子。这种模子通过融合不同模态的信息，可以实现更全面和准确的理解和推理能力。

可信 AI 是指具备高度可信性和可靠性的人工智能系统。对于多模态基础大模子而言，其可信性体现在以下几个方面：

训练数据：模子的训练数据应当充实、多样且具有代表性，以避免私见和不公平性的问题；同时，应当严酷遵遵法律法规并避免包罗不妥或敏感内容
模子鲁棒性：模子应当经过充实的测试和验证，可以或许在各种场景下保持稳定性和准确性；尤其对于多模态输入，模子应当可以或许处理各种不同类型的数据，并对非常情况具有较好的容错性
透明性和可表明性：可信的模子需要提供对其决议和推理过程的表明能力，以便用户和开发者可以或许理解其工作原理和判断依据
安全和隐私保护：模子应当具备肯定的安全性，可以或许防御针对模子的攻击和欺骗；同时，对于用户的输入数据和个人隐私应当严酷保护

多模态基础大模子的可信 AI 需要综合思量训练数据的质量、模子的鲁棒性、透明度息争释性，以及安全与隐私保护等方面的要求，如许的可信 AI 才气够为用户提供可靠的多模态智能服务。
2.2 走进合合信息

合合信息是行业领先的人工智能及大数据科技企业，深耕智能文字识别、图像处理、自然语言处理和大数据挖掘等领域，其提供高精准度的智能文字识别引擎及场景化产品，支持多种部署方式，提拔文档处理流程的效率，例如光学字符识别 (Optical Character Recognition, OCR)、图像切边增强、PS 篡改检测以及图像矫正等，相关黑科技的体验可以登录合合信息官网。

为了推动 AI 图像安全，合合信息积极参与中国信通院的测评，在中国信通院 OCR 智能化服务评测中，合合信息智能文字识别产品顺利通过全部 7 项基础类功能指标测试以及 9 项增强类功能指标测试，得到“增强级”最高评级，其智能文字识别产品展现出良好的性能和服务成熟度。

在智能文档处理系统评测中，评估效果显示，合合信息智能文档处理产品在通用能力及 AI 核心能力方面均表现优秀，得到“5级”最高评级，在信息抽取、表格文字识别、版面分析等方面均得到 5 分评分。

3. AI 图像安全

在 WAIC 2023 上，合合信息主要分享了 AI 图像安全技术方案的三项重点技术，包括 AI 图像篡改检测、AIGC 判别和 OCR 对抗攻击技术，以应对日益频发的恶意 P 图、天生式造假和个人信息非法提取等现象。
3.1 图像篡改检测

图像篡改检测是指，给定一张图片，输入到篡改检测模子中，可以或许判别这张图像是否被篡改，而且定位出篡改图像的篡改区域。
在 2022 年的人工智能大会上，合合信息展示了其在文档图像篡改检测方面的研究进展，融合 SRM、BayarConv、ELA 等方法提拔 CNN Tamper Detector 性能，检测 RGB 域和噪声域存在痕迹的篡改，可以或许在像素级识别证件、单子等各类重要的贸易质料中的 PS 痕迹，网络架构如下所示：

今年在 PS 检测“黑科技”的基础上，合合信息进一步优化了 AI 图像篡改检测，拓展了截图篡改检测可检测包括转账记录、交易记录、聊天记录等多种截图。截图篡改主要分为四种类型：

复制移动：图像中的某个区域从一个地方复制到另一个地方
拼接：两张毫不相干的图像拼接成为一张新图像
擦除：擦除文档图像中的某些关键信息
重打印：在擦除的基础上编辑上新的文本内容

与证照篡改检测相比，截图的背景没有纹路和底色，整个截图没有光照差异，难以通过照相时产生的成像差异举行篡改痕迹判断，现有的视觉模子通常难以充实发掘原始图像和篡改图像的细粒度差异特性。只管视觉模子在处理平凡图像上表现精彩，但当面临具有细粒度差异的原始图像和篡改图像时，它们每每难以有效地举行区分。这是由于篡改操纵可能只会对截图举行稍微的修改，这些细节变革对于传统的视觉模子而言很难捕捉到。
针对这一问题，合合信息在传统卷积神经网络后引入两种不同解码器，包括基于降维的解码器 LightHam 和基于留意力的解码器 EANet，不同形式的解码器的引入令模子可以较好的解决各种场景下的篡改形式，从而捕捉到细粒度的视觉差异，增强模子泛化能力。
应用合合信息的图像篡改检测系统，不仅可以或许保障信息的真实性，截图篡改检测可防止信息被篡改或伪造，确保信息的真实性和完整性；同时也可以防止敲诈行为，截图篡改可以防止诈骗行为的发生，保障用户的正当权益。
3.2 天生式图像辨别

随着 AIGC 技术的发展，大模子所天生的内容已经越来越智能化、人性化，其所引发的可信度问题成为广泛讨论的话题。不法分子通过 AIGC 伪造图像用以规避版权、身份验证，非法获取利益，引发了诸多社会问题。如何检测此类伪造内容已成为研究热点，并提出了许多伪造检测方法。大多数模子将伪造内容检测建模为一个平凡的二元分类问题，即起首利用主干网络提取全局特性，然后将其输入到二元分类器(真/假)中。但由于此任务中真假图像之间的差异通常是渺小的和局部的，这种平凡的解决方案并不能很好的应用于实际生产情况中。
针对这些问题，合合信息研发了关于 AI 天生图片辨别技术，用于辨别图像是否为AI天生的。以 AI 天生人脸为例，合合信息研发的人脸伪造辨别模子可以或许很好的辨别人脸相关的短视频和图像是否是由 AIGC 天生的。
为了解决AI天生图像场景繁多(无法通过细分训练解决)和天生图片和真实图片的相似度较高(真伪判定较难)的问题，合合信息将图像伪造检测表述为细粒度分类问题，基于空域与频域关系建模，并提出了一种新的多留意图片伪造检测网络，利用多维度特性来分辨真实图片和天生式图片的渺小差异，其主要包罗三个关键组件：

多个空间留意力头，使网络关注不同的局部部分
纹理特性增强模块放大浅层特性中的渺小伪影
聚合由留意力图提取的低级纹理特性和高级语义特性

由于视频天生具有连续性的特性，因此会在人脸周围天生渺小的伪影，所以在特性提取器的浅层引入了纹理增强模块，令模子可以或许更好的关注这些伪影，由于不同的 AIGC 模子会在模子的不同条理留下不同的特性行为，通过引入空间留意力机制令模子可以较好的关注神经网络不同层级的特性，从而增强不同 AIGC 模子天生的人脸相关的图像的辨别和感知能力。
合合信息的 AIGC 人脸伪造检测系统可以在多个领域得到广泛应用：

身份验证和访问控制：可以或许防止攻击者利用 AIGC 伪造人脸举行身份验证，制止攻击者非法得到系统访问权限
金融反敲诈：在银行和金融行业中，可以用于身份验证和客户识别，防止信用卡诈骗、账户盗窃和身份冒用等敲诈行为
移动设备的安全检测：可以或许防止攻击者伪造人脸入侵用户手机等移动设备的人脸解锁功能
数字图像取证：可以或许辨别图像和视频中是否存在 AIGC 伪造人脸
数字娱乐行业：在游戏、影视制作等领域，合合信息的 AIGC 人脸伪造检测系统可以确保内容的版权和真实性，防止盗版和恶意篡改
视频集会长途认证：可以或许确保参会人员利用真实人脸举行身份验证

3.3 OCR 对抗攻击技术

为满足人们在拍摄和发送相关证件、文件时对个人信息保密的需求，防止不法分子利用 OCR 技术对发送的图片中的个人信息举行识别和提取，防范个人隐私泄露和信息被滥用的风险。合合信息开展了创新技术研究，并研发了 OCR 对抗攻击技术，用于对文档图片举行"加密"，可以干扰和肴杂 OCR 算法，使其无法有效地识别和提取图片中的敏感信息。如许一来，即使文档图片在传输过程中被窃取，也无法通过 OCR 算法获取到有效的个人信息。
OCR 对抗攻击是指给定一张测试的文本图片并指定目的文本，输入到系统中举行对抗攻击并输出效果图片，使得效果图片中先前指定的目的文本无法被 OCR 系统识别而不影响人眼对目的文本的识别。根据攻击者对 OCR 系统的了解程度，可以将 OCR 对抗攻击分为两类：

白盒攻击：已知 OCR 系统的全部结构和参数，通过盘算输入图片关于 OCR 目的函数的梯度，逐步添加噪声降低目的文本在正确种别上的猜测得分，从而使系统产生错误的猜测效果
黑盒攻击：未知 OCR 系统的结构和参数，直接对其举行攻击，通过输入输出与模子举行交互，根据模子的输出反馈调解输入数据

合合信息所提出的 OCR 对抗攻击模子属于黑盒攻击，输入图片后，模子起首通过已知的默认 OCR 系统(也称更换模子)检测图片中的文本位置和内容位置，指定目的文本后系统在目的文本的周围区域迭代的添加特定的高斯噪声、亮度变换等攻击方式，通过默认 OCR 系统的识别效果作为反馈调解迭代次数，将对默认 OCR 系统攻击成功时的图片作为最终效果送入目的 OCR 系统中举行验证。

该技术可在不影响人类阅读的基础上，对场景文本或者文档内文本举行扰动，避免第三方 OCR 工具提取此中重要的隐私信息，降低数据泄露的风险，以此达到保护信息的目的。
合合信息提出的 OCR 对抗攻击技术，可以或许有效的解决隐私保护和数据加密问题，在网络上传播包罗个人信息的图片时，可以或许对此中的敏感信息举行 OCR 对抗攻击从而防止个人信息被网络中的第三方所截获，防止第三方 OCR 系统读取图片内文本内容，保护数据隐私，降低数据泄露风险。
4. 可信 AI 技术标准

随着 AI 技术的发展，AI 图像篡改已经引发了大量社会问题，AI 图像安全问题亟待解决，图像安全的重要性与日俱增，标准规范的出台迫在眉睫。合合信息联合自身业务特点，积极推进图像篡改检测、AIGC 判别和 OCR 对抗攻击的研究，助力行业发展，同时积极参加中国信通院牵头的《文档图像篡改检测标准》的订定。
《文档图像篡改检测标准》的订定意味着中国在呆板视觉和图像处理领域的“可信AI”体系建设迈出了重要的一步，并为其提供了有力的支持。该标准将帮助确保文档图像的安全性和完整性，进而增强人们对 AI 系统、产品和服务的信任感。通过遵循这一标准，我们可以更好地评估和验证呆板视觉和图像处理技术的可靠性和可信任程度，推动该领域的发展和应用。
硬科技气力是合合信息等科技公司突破领域难题、培育创新技术的关键。 AI 图像安全新技术的实现，得益于合合信息在文档图像领域深耕十余年的雄厚科技气力，在文档图像领域取得了杰出的成果。猜测未来，我们需要持续关注图像领域新需求、新动态，用“过硬”的AI为相关领域的发展注入安全感。
小结

AI 图像安全是保障可信 AI 发展的重要环节之一。起首，需要深入研究对抗性攻击方法，了解模子在处理图像时的脆弱性，以及如何天生对抗样本来评估模子的鲁棒性。其次，创建健全的数据集审查机制，避免训练数据中包罗不妥或有潜在危害的内容，对公开数据集举行净化，确保用户隐私得到妥善保护。最后，隐私保护和数据安全必不可少，AI 图像处理涉及大量的个人数据，保护用户隐私和确保数据安全至关重要，合规利用数据、采用加密技术等手段，可以有效保障图像数据的安全性。提高 AI 模子在处理图像时的鲁棒性和可信度，进一步推动可信 AI 的应用和发展。
相关链接

图像智能处理黑科技，让图像处理信手拈来
多模态大模子期间下的文档图像智能分析与处理

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)