探索AI图像安全，助力可信AI发展
- 1. 人工智能发展与安全挑战
-
- 2. WAIC 2023 多模态根本大模子的可信 AI
-
- 3. AI 图像安全
- 3.2 生成式图像鉴别
- 3.3 OCR 对抗攻击技术
- 4. 可信 AI 技术标准
- 小结
- 相关链接
0. 媒介
随着人工智能( Artificial Intelligence, AI
)技术的发展，已经逐渐成为生存中不可或缺的一部分，为我们的生存带来了诸多便利和创新，但与此同时也带来了一系列的安全挑战，例如恶意篡改、图像造假等。在寻求技术进步和拓展人工智能应用边界的同时，我们必须高度关注人工智能的安全性，解决人工智能发展过程中的各种安全挑战，以实现人工智能的持续康健发展。
图像作为信息传递的重要媒介之一，必要重点解决在人工智能的发展过程中使用 AI 进行图像造假的问题。针对这一问题，中国信息通信研究院(中国信通院)
2023 世界人工智能大会( WAIC 2023 )上举行了专门论坛，围绕着“多模态根本大模子的可信AI”主题进行讨论。在该论坛上，合合信息关于
AI 图像内容安全的技术方案引起了广泛的关注。本文将对人工智能发展及其面对的安全挑战进行简要介绍，并回首在 WAIC 2023 合合信息关于
AI 图像安全的相关分享。
1. 人工智能发展与安全挑战
1.1 人工智能及其发展
人工智能( Artificial Intelligence, AI
)是一门研究如何使盘算机能够模拟和执行人类智能活动的学科，其目的是使盘算机能够像人类一样执行认知任务。通过模拟人类的头脑过程和举动模式，人工智能可以进行复杂的问题求解和智能决策。它涵盖了多个范畴，包括机器学习、盘算机视觉、自然语言处理和专家体系等。
人工智能的发展可以追溯到 20 世纪 50 年代，当时的研究人员开始思考如何让盘算机具备智能。随着盘算机技术和算法的不断改进，人工智能在 20 世纪 70
年代和 80
年代履历了爆发性的发展。专家体系成为当时的重要研究方向，通过将专家的知识编码为规则和推理机制，使盘算机能够模拟专家在特定范畴的决策和问题解决能力。
然而，在 20 世纪 80 年代末到 90 年代初，人工智能陷入了低谷，被称为“AI寒冬”。这是由于盘算能力的限制、算法的不成熟以及投资的不敷等因素造成的。
随着互联网的鼓起和盘算能力的快速提升，人工智能在 21 世纪得以再度崛起。大数据的出现为机器学习提供了更多的训练数据，图形处理单位( Graphics Processing Unit, GPU
)的使用和并行盘算的发展，深度学习模子的提出和优化使得盘算机可以更好地处理图像、语音和自然语言等非布局化数据也推动了人工智能的发展，深度学习的鼓起引领了一系列重大突破，例如图像辨认、语音辨认和自然语言处理等。
目前，人工智能正持续快速发展中，涌现出各种新技术和应用。例如，特别是随着 GPT3.5、GPT4 等大模子和 ChatGPT
等大模子产品，自动驾驶技术正在实现智能化的交通体系，物联网和智能家居正在改变我们的生存方式，机器人技术正在扩大应用范围，人工智能助手如语音助手和聊天机器人逐渐融入我们的一样平常生存。
1.2 人工智能安全挑战
虽然人工智能算法在很多应用范畴已经取得了巨大进步，但在为人们带来巨大便利的同时,也袒露出很多安全问题。一样平常说来,对人工智能模子的攻击方式包括粉碎模子的机密性
(Confidentiality) 、 完整性 (Integrity) 和可用性
(Availability)。通常可以将常见的针对人工智能模子的攻击分为三类：隐私攻击、针对训练数据的攻击以及针对算法模子的攻击：
- 隐私攻击：在大数据期间，人们的每个举动都是一种新型数据，对这些举动数据进行训练，人工智能算法就可以推断出人们的下一步动作，这引发了人们对于人工智能算法的安全性担心，这种安全性问题即针对隐私数据的攻击。攻击者使用人工智能模子猜测某些敏感信息,或者通过已有的部分数据来恢复数据集中的敏感数据。
- 针对训练数据的攻击：训练数据集的质量和信息量对于人工智能算法算法至关重要，它们决定了神经网络在训练过程中各层参数的变化方式。正因为如此，很多攻击是针对训练数据的。攻击者可以通过修改现有数据或注入特制的恶意数据来粉碎体系的完整性，这种攻击被称为投毒攻击。很多体系必要不断迭代更新模子以适应环境变化，就大概遭到投毒攻击。例如，在面部辨认体系的模子迭代更新期间进行投毒攻击，攻击者通过注入恶意数据来使模子中的辨认特性中央值发生偏移，从而使攻击者提供的图像可以通过体系验证。
- 针对算法模子的攻击：尽管投毒攻击可以使模子堕落，但攻击者必须找到如何注入恶意数据的方式。实际应用中，通过在机器学习模子推理阶段对输入数据进行细微修改，就可以在短时间内导致模子产生错误的结果，这些颠末细微修改的数据称为对抗样本 (Adversarial Examples)，具体而言，通过故意在数据集中添加微小的扰动形成的输入样本会对模子造成干扰，从而迫使模子以高置信度输堕落误的结果。例如在图像分类中，攻击者通过添加微小扰动(即时这些扰动对于人眼而言并不可见)就可以增加模子的猜测误差，使本来被正确分类的样本被错误分类到另一种种别中。
2. WAIC 2023 多模态根本大模子的可信 AI
为了应对人工智能的安全性问题，在 WAIC 2023 上中国信息通信研究院围绕“多模态根本大模子的可信AI”主题举行了专项论坛。在论坛上，合合信息分享了
AI 图像安全技术方案，为 AI 可信化发展提供有力支持。
2.1 WAIC 2023 专题论坛
随着人工智能生成内容 (Artificial Intelligence Generated Content,
AIGC)爆火出圈，人们对技术革新带来的优美生存倍感等待的同时，也增加了对于人工智能安全问题的担心，例如，有诈骗分子通过生成伪造内容欺骗受害者，如何有效破解信息安全困难、构筑可信AI生态体系成为当前的重要议题，素有“科技风向标、财产加速器”之称的
WAIC
敏锐的把握到构建可信AI的重要性，在大会期间，中国信息通信研究院主办了“聚焦大模子期间AIGC新海潮”论坛，围绕“多模态根本大模子的可信AI”这一热门议题开设专场分享。
多模态根本大模子是指能够处理多种输入模态(如图像、文本、语音等)的强盛 AI 模子。这种模子通过融合不同模态的信息，可以实现更全面和准确的理解和推理能力。
可信 AI 是指具备高度可信性和可靠性的人工智能体系。对于多模态根本大模子而言，其可信性表现在以下几个方面：
- 训练数据：模子的训练数据应当充实、多样且具有代表性，以制止私见和不公平性的问题；同时，应当严酷遵遵法律法规并制止包含不当或敏感内容
- 模子鲁棒性：模子应当颠末充实的测试和验证，能够在各种场景下保持稳固性和准确性；尤其对于多模态输入，模子应当能够处理各种不同范例的数据，并对异常情况具有较好的容错性
- 透明性和可解释性：可信的模子必要提供对其决策和推理过程的解释能力，以便用户和开发者能够理解其工作原理和判断依据
- 安全和隐私掩护：模子应当具备一定的安全性，能够防御针对模子的攻击和欺骗；同时，对于用户的输入数据和个人隐私应当严酷掩护
多模态根本大模子的可信 AI 必要综合考虑训练数据的质量、模子的鲁棒性、透明度和解释性，以及安全与隐私掩护等方面的要求，这样的可信 AI
才能够为用户提供可靠的多模态智能服务。
2.2 走进合合信息
合合信息是行业领先的人工智能及大数据科技企业，深耕智能笔墨辨认、图像处理、自然语言处理和大数据挖掘等范畴，其提供高精准度的智能笔墨辨认引擎及场景化产品，支持多种部署方式，提升文档处理流程的效率，例如光学字符辨认
(Optical Character Recognition, OCR)、图像切边增强、PS
篡改检测以及图像改正等，相关黑科技的体验可以登录合合信息官网。
为了推动 AI 图像安全，合合信息积极参与中国信通院的测评，在中国信通院 OCR 智能化服务评测中，合合信息智能笔墨辨认产品顺遂通过全部 7
项根本类功能指标测试以及 9 项增强类功能指标测试，获得“增强级”最高评级，其智能笔墨辨认产品显现出良好的性能和服务成熟度。
在智能文档处理体系评测中，评估结果表现，合合信息智能文档处理产品在通用能力及 AI
焦点能力方面均表现优秀，获得“5级”最高评级，在信息抽取、表格笔墨辨认、版面分析等方面均获得 5 分评分。
3. AI 图像安全
在 WAIC 2023 上，合合信息重要分享了 AI 图像安全技术方案的三项重点技术，包括 AI 图像篡改检测、AIGC 判别和 OCR
对抗攻击技术，以应对日益频发的恶意 P 图、生成式造假和个人信息非法提取等现象。
3.1 图像篡改检测
图像篡改检测是指，给定一张图片，输入到篡改检测模子中，能够判别这张图像是否被篡改，并且定位出篡改图像的篡改区域。
在 2022 年的人工智能大会上，合合信息展示了其在文档图像篡改检测方面的研究希望，融合 SRM、BayarConv、ELA 等方法提升
CNN Tamper Detector 性能，检测 RGB 域和噪声域存在痕迹的篡改，能够在像素级辨认证件、单子等各类重要的贸易材料中的 PS
痕迹，网络架构如下所示：
今年在 PS
检测“黑科技”的根本上，合合信息进一步优化了 AI
图像篡改检测，拓展了截图篡改检测可检测包括转账记录、交易记录、聊天记录等多种截图。截图篡改重要分为四种范例：
- 复制移动：图像中的某个区域从一个地方复制到另一个地方
- 拼接：两张毫不相干的图像拼接成为一张新图像
- 擦除：擦除文档图像中的某些关键信息
- 重打印：在擦除的根本上编辑上新的文本内容
与证照篡改检测相比，截图的背景没有纹路和底色，整个截图没有光照差别，难以通过拍照时产生的成像差别进行篡改痕迹判断，现有的视觉模子通常难以充实发掘原始图像和篡改图像的细粒度差别特性。尽管视觉模子在处理平凡图像上表现出色，但劈面临具有细粒度差别的原始图像和篡改图像时，它们每每难以有效地进行区分。这是因为篡改操作大概只会对截图进行轻微的修改，这些细节变化对于传统的视觉模子而言很难捕捉到。
针对这一问题，合合信息在传统卷积神经网络后引入两种不同解码器，包括基于降维的解码器 LightHam 和基于注意力的解码器
EANet，不同形式的解码器的引入令模子可以较好的解决各种场景下的篡改形式，从而捕捉到细粒度的视觉差别，增强模子泛化能力。
应用合合信息的图像篡改检测体系，不仅能够保障信息的真实性，截图篡改检测可防止信息被篡改或伪造，确保信息的真实性和完整性；同时也可以防止诓骗举动，截图篡改可以防止诈骗举动的发生，保障用户的合法权益。
3.2 生成式图像鉴别
随着 AIGC 技术的发展，大模子所生成的内容已经越来越智能化、人性化，其所引发的可信度问题成为广泛讨论的话题。非法分子通过 AIGC
伪造图像用以规避版权、身份验证，非法获取长处，引发了诸多社会问题。如何检测此类伪造内容已成为研究热点，并提出了很多伪造检测方法。大多数模子将伪造内容检测建模为一个平凡的二元分类问题，即起首使用主干网络提取全局特性，然后将其输入到二元分类器(真/假)中。但由于此任务中真假图像之间的差别通常是细微的和局部的，这种平凡的解决方案并不能很好的应用于实际生产环境中。
针对这些问题，合合信息研发了关于 AI 生成图片鉴别技术，用于鉴别图像是否为AI生成的。以 AI
生成人脸为例，合合信息研发的人脸伪造鉴别模子能够很好的鉴别人脸相关的短视频和图像是否是由 AIGC 生成的。
为了解决AI生成图像场景繁多(无法通过细分训练解决)和生成图片和真实图片的相似度较高(真伪判断较难)的问题，合合信息将图像伪造检测表述为细粒度分类问题，基于空域与频域关系建模，并提出了一种新的多注意图片伪造检测网络，使用多维度特性来分辨真实图片和生成式图片的细微差别，其重要包含三个关键组件：
- 多个空间注意力头，使网络关注不同的局部部分
- 纹理特性增强模块放大浅层特性中的细微伪影
- 聚合由注意力图提取的低级纹理特性和高级语义特性
由于视频生成具有连续性的特性，因此会在人脸周围生成细微的伪影，所以在特性提取器的浅层引入了纹理增强模块，令模子能够更好的关注这些伪影，由于不同的
AIGC 模子会在模子的不同层次留下不同的特性举动，通过引入空间注意力机制令模子可以较好的关注神经网络不同层级的特性，从而增强不同 AIGC
模子生成的人脸相关的图像的辨别和感知能力。
合合信息的 AIGC 人脸伪造检测体系可以在多个范畴得到广泛应用：
- 身份验证和访问控制：能够防止攻击者使用 AIGC 伪造人脸进行身份验证，阻止攻击者非法获得体系访问权限
- 金融反诓骗：在银行和金融行业中，可以用于身份验证和客户辨认，防止名誉卡诈骗、账户偷窃和身份冒用等诓骗举动
- 移动装备的安全检测：能够防止攻击者伪造人脸入侵用户手机等移动装备的人脸解锁功能
- 数字图像取证：能够鉴别图像和视频中是否存在 AIGC 伪造人脸
- 数字娱乐行业：在游戏、影视制作等范畴，合合信息的 AIGC 人脸伪造检测体系可以确保内容的版权和真实性，防止盗版和恶意篡改
- 视频会议远程认证：能够确保参会人员使用真实人脸进行身份验证
3.3 OCR 对抗攻击技术
为满足人们在拍摄和发送相关证件、文件时对个人信息保密的需求，防止非法分子使用 OCR
技术对发送的图片中的个人信息进行辨认和提取，防范个人隐私泄露和信息被滥用的风险。合合信息开展了创新技术研究，并研发了 OCR
对抗攻击技术，用于对文档图片进行"加密"，可以干扰和肴杂 OCR
算法，使其无法有效地辨认和提取图片中的敏感信息。这样一来，纵然文档图片在传输过程中被窃取，也无法通过 OCR 算法获取到有用的个人信息。
OCR 对抗攻击是指给定一张测试的文本图片并指定目的文本，输入到体系中进行对抗攻击并输出结果图片，使得结果图片中先前指定的目的文本无法被 OCR
体系辨认而不影响人眼对目的文本的辨认。根据攻击者对 OCR 体系的了解水平，可以将 OCR 对抗攻击分为两类：
- 白盒攻击：已知 OCR 体系的全部布局和参数，通过盘算输入图片关于 OCR 目的函数的梯度，逐步添加噪声降低目的文本在正确种别上的猜测得分，从而使体系产生错误的猜测结果
- 黑盒攻击：未知 OCR 体系的布局和参数，直接对其进行攻击，通过输入输出与模子进行交互，根据模子的输出反馈调整输入数据
合合信息所提出的 OCR 对抗攻击模子属于黑盒攻击，输入图片后，模子起首通过已知的默认 OCR
体系(也称替代模子)检测图片中的文本位置和内容位置，指定目的文本后体系在目的文本的周围区域迭代的添加特定的高斯噪声、亮度变换等攻击方式，通过默认 OCR
体系的辨认结果作为反馈调整迭代次数，将对默认 OCR 体系攻击成功时的图片作为终极结果送入目的 OCR 体系中进行验证。
该技术可在不影响人类阅读的根本上，对场景文本或者文档内文本进行扰动，制止第三方 OCR
工具提取此中重要的隐私信息，降低数据泄露的风险，以此到达掩护信息的目的。
合合信息提出的 OCR
对抗攻击技术，能够有效的解决隐私掩护和数据加密问题，在网络上传播包含个人信息的图片时，能够对此中的敏感信息进行 OCR
对抗攻击从而防止个人信息被网络中的第三方所截获，防止第三方 OCR 体系读取图片内文本内容，掩护数据隐私，降低数据泄露风险。
4. 可信 AI 技术标准
随着 AI 技术的发展，AI 图像篡改已经引发了大量社会问题，AI
图像安全问题亟待解决，图像安全的重要性与日俱增，标准规范的出台迫在眉睫。合合信息结合自身业务特点，积极推进图像篡改检测、AIGC 判别和 OCR
对抗攻击的研究，助力行业发展，同时积极参加中国信通院牵头的《文档图像篡改检测标准》的订定。
《文档图像篡改检测标准》的订定意味着中国在机器视觉和图像处理范畴的“可信AI”体系建设迈出了重要的一步，并为其提供了有力的支持。该标准将帮助确保文档图像的安全性和完整性，进而增能人们对
AI 体系、产品和服务的信任感。通过遵循这一标准，我们可以更好地评估和验证机器视觉和图像处理技术的可靠性和可信赖水平，推动该范畴的发展和应用。
硬科技气力是合合信息等科技公司突破范畴困难、培育创新技术的关键。 AI
图像安全新技术的实现，得益于合合信息在文档图像范畴深耕十余年的雄厚科技气力，在文档图像范畴取得了卓越的结果。展望未来，我们必要持续关注图像范畴新需求、新动态，用“过硬”的AI为相关范畴的发展注入安全感。
小结
AI 图像安满是保障可信 AI
发展的重要环节之一。起首，必要深入研究对抗性攻击方法，了解模子在处理图像时的脆弱性，以及如何生成对抗样本来评估模子的鲁棒性。其次，创建健全的数据集检察机制，制止训练数据中包含不当或有潜在危害的内容，对公开数据集进行净化，确保用户隐私得到妥善掩护。末了，隐私掩护和数据安全必不可少，AI
图像处理涉及大量的个人数据，掩护用户隐私和确保数据安全至关重要，合规使用数据、接纳加密技术等手段，可以有效保障图像数据的安全性。进步 AI
模子在处理图像时的鲁棒性和可信度，进一步推动可信 AI 的应用和发展。
相关链接
图像智能处理黑科技，让图像处理信手拈来
多模态大模子期间下的文档图像智能分析与处理
学习网络安全技术的方法无非三种:
第一种是报网络安全专业，现在叫网络空间安全专业，重要专业课程:步调设计、盘算机组成原理原理、数据布局、操作体系原理、数据库体系、 盘算机网络、人工智能、自然语言处理、社会盘算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。
第二种是自学，就是在网上找资源、找教程，或者是想办法认识一-些大佬，抱紧大腿，不外这种方法很耗时间，而且学习没有规划，大概很长一段时间感觉自己没有进步，容易劝退。
如果你对网络安全入门感爱好，那么你必要的话可以点击这里 |
