0. 前言
随着人工智能 (Artificial Intelligence, AI) 技术，特别是大模子的迅猛发展，AI 技术滥用与造假问题愈加严峻，给全球经济和社会发展带来了前所未有的挑战。人工智能的滥用不但危及个人隐私安全，还对社会秩序和法律规范构成潜伏威胁。在这一背景下，AI 安全的有效治理已经成为学术界和财产界共同关注的焦点。作为其中的紧张组成部门，AI 视觉安全尤为关键，它涉及如何保障计算机视觉技术在各类应用中的可靠性、透明度和公平性，确保人工智能在面临复杂现实场景时可以或许做出合规、可信的决策。这一领域的研究和技术发展，已成为保障社会稳固与科技进步的紧张支柱。
在本文中，我们将回顾在《CCF-CV 企业交换会—走进合合信息》活动中，来自 AI 安全领域的权势巨子专家分享的 AI 安全领域的最新研究成果以及实践履历，介绍计算机视觉领域最新进展和人工智能可信发展趋势。
1. CCF-CV 企业交换会
1.1 活动介绍
伴随着 AI 产物的快速迭代更新，人工智能引发的风险也在与日俱增。深度伪造技术和个人隐私侵权等问题挑战着社会秩序，为探寻 AI 安全治理道路，近期，由中国计算机学管帐算机视觉专委会主理，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模子时代的可信 AI》活动顺遂举行。活动特邀来自上海交通大学、电子技术尺度化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们，分享了计算机视觉领域最新进展和人工智能可信发展趋势，助力 AI 向善发展。
1.2 走进合合信息
合合信息是一家深耕智能笔墨识别和商业大数据领域的公司，研发了多款深受全球用户喜爱的 C 端产物，同时提供 AI 加大数据赋能数字化转型的 B 端服务，别的，合合信息主要的平台产物包括智能笔墨识别服务平台和商业大数据技术与资产平台，其中，智能笔墨识别服务平台 TextIn 提供高精准度的智能笔墨识别引擎及场景化产物，支持多种摆设方式，提升文档处理流程的效率，例如光学字符识别 (Optical Character Recognition, OCR)、图像切边增强、图像篡改检测以及图像改正等。
2. 大模子发展与安全挑战
随着大模子在各个领域的深入应用，安全性问题已经成为制约 AI 发展的紧张挑战。从数据隐私到对抗攻击，从偏见问题到滥用风险，大模子面临的安全挑战多种多样，需要技术和羁系多方面的合作与努力来解决。只有在保障安全的前提下，AI 技术才能更好地服务于社会，并带来更大的代价。当前，大模子面临的安全挑战主要包括：
- 数据隐私与泄露：大模子的训练通常需要海量的数据集，这些数据集可能包含了个人隐私、敏感信息和商业机密。在训练过程中，尽管通过去标识化和数据匿名化手段试图保护隐私，但依然可能存在信息泄露的风险
- 模子篡改与对抗攻击：对抗攻击是指通过对输入数据进行精心计划的微小扰动，使得大模子的猜测结果发生明显变化。攻击者通过这种方式可以使模子输堕落误的决策，乃至误导自动化决策系统。这类攻击不但威胁到模子的安全性，还可能影响其在现实天下中的应用，如自动驾驶、金融生意业务等领域。别的，攻击者还可以通过直接篡改模子的参数或训练过程，注入恶意代码或虚假数据，从而使得模子在特定情境下做堕落误的判断
- 偏见与公平性问题：大模子的训练数据来源广泛，可能包含了汗青上的偏见和歧视，导致模子在输出时产生偏见(如性别偏见、种族偏见等)。这些偏见可能反映在模子对不同群体的推荐、决策或猜测结果上，从而加剧社会不公平问题，乃至对某些群体造成伤害
- 模子滥用与恶意应用：大模子可以或许在多个领域中提供强盛的功能，但如果被恶意利用，它们也可能带来严峻的社会风险。例如，利用大模子生成虚假图像、诈骗信息或假消息，可能会导致社会信任危急，乃至引发恐慌。别的，黑客还可能利用模子进行自动化的垂纶攻击、虚假广告等恶意活动
3. 打造大模子时代的可信 AI
3.1 平衡生成式AI的创新与风险
以 ChatGPT 为代表的大语言模子 (Large Language Models, LLM) 技术飞速发展的同时，关于数据安全、知识产权、算法偏见和有害内容生成等大语言模子的内容安全问题逐渐引发了人们的关注。论坛上，上海交通大学人工智能研究院教授、总工程师金耀辉围绕大模子训练过程分享了如何平衡生成式 AI 的创新与风险，主要包括面向安全的训练对齐、面向安全的提示引导和面向安全的文本过滤。
面向安全的训练对齐是指对 LLM 进行微调以对齐安全需求。从颗粒度逐渐细化，将安全概念逐渐明确。Safe RLHF 模子对安全中的有益性和无害性偏好解耦，并在对齐过程中动态调解 LLM 对内容安全的偏好。FINE-GRAINED RLHF 模子引入细粒度的人类反馈来作为奖励信号。通过 调解奖励模子的权重，控制不同范例反馈之间 的平衡，以确保 LLM 生成内容的安全。
面向安全的提示引导是指利用提示词引导 LLM 生成安全的响应，面向安全的提示引导每每会基于人类的心理，鉴戒人类心理学研究中的概念。通过加入带有安全引导的提示词，大语言模子的安全属性可以或许被明显提升。
面向安全的文本过滤是指检测有害内容并触发得当的安全处理机制。安全过滤是保障大语言模子安全的外围护栏，可以或许直接防止有害内容的产生。基于规则的文本过滤通过预定义规则来检测和捕获有害文本特性，可以或许通过文本的全局特性和局部特性进行识别。基于模子的文本过滤利用天然语言处理和呆板学习技术，通过预训练的语言模子或专门训练的分类模子，自动检测并过滤有害内容。
3.2 视觉内容安全技术的前沿进展与应用
图像，作为当前数字内容中广泛应用的一种形式，由于其便于获取、传播和编辑，已成为非法分子进行各种篡改和伪造的主要目标。图像篡改和人脸伪造是当前图像处理和人工智能领域的紧张课题，不但包括局部区域的细节修改，还可能涉及整幅图像的全局性修改，尤其是在深度伪造技术和生成对抗网络等新兴技术的推动下，图像篡改和人脸伪造的手段愈加复杂且隐蔽。这种现象带来了巨大的安全隐患，特别是在交际媒体、消息报道、金融敲诈等领域危害愈加明显。
由于篡改手段的多样性以及隐蔽性，当前的篡改检测任务面临着诸多复杂的难题。起首，篡改手段多种多样，从简单的像素替换到复杂的图像合成，攻击者可以采用不同的策略来掩盖其篡改活动。这使得检测系统很难创建起有效的识别尺度。其次，篡改的隐蔽性使得篡改痕迹每每薄弱，乃至在仔细审查的环境下也难以察觉。更为棘手的是，篡改图像与原始图像在内容和形式上可能高度相似，这种相似性进一步增长了识别的难度。
合合信息图像算法研发总监郭丰俊介绍了该公司技术团队依托先辈的深度学习技术和数据驱动的神经网络模子，研发出了领先行业水平的图像篡改检测解决方案。考虑到伪造和篡改的技术也在快速更新，合合信息提出了基于小样本在线增量学习的篡改检测模子，以快速响应客户需求，融合空域与频域关系、知识蒸馏和教师-学生网络等方法提升 CNN Tamper Detector 性能，检测 RGB 域和噪声域存在痕迹的篡改，可以或许在像素级识别证件、票据等各类紧张的商业材料中的 PS 痕迹。
与证照篡改检测相比，截图的背景没有纹路和底色，整个截图没有光照差异，难以通过拍照时产生的成像差异进行篡改痕迹判断，现有的视觉模子通常难以充分发掘原始图像和篡改图像的细粒度差异特性。尽管视觉模子在处理平凡图像上表现出色，但劈面临具有细粒度差异的原始图像和篡改图像时，它们每每难以有效地进行区分。这是由于篡改操作可能只会对截图进行轻微的修改，这些细节变化对于传统的视觉模子而言很难捕获到。
应用合合信息的通用篡改检测技术，不但可以或许识别图像篡改后所留下的微小痕迹，还可以或许检测出多种不同形式的篡改，例如局部剪辑、拼接、伪造、内容替换等，具有较强的多样性和适应性，在近两年的两项国际性技术比赛中脱颖而出，乐成夺得冠军，证实了其技术在全球范围内的竞争力和领先职位。
同时，合合信息与中国信通院、中国图象图形学学会等机构联合发布了《文本图像篡改检测系统技术要求》团体尺度，可以或许推动相关技术更好的落地应用，为行业提供有效指引。
人脸伪造图像检测是一个快速发展的领域，旨在识别和验证人脸图像的真实性，以防止敲诈和虚假信息传播。但随着人脸伪造技术的不断演进，检测模子需适应各种生成方法，如生成对抗网络、Deepfake 和扩散模子等，确保可以或许识别不同范例的人脸伪造图像。
合合信息构建的人脸伪造图像检测系统利用前沿的深度学习技术，基于大量 Deepfake 现实样图训练，具备良好的泛化识别表现，可以或许快速而准确地检测单人图像中的人脸伪造活动。通过深度学习算法的高级特性提取和分析，系统可以或许识别贴图、面部重演、Deepfake 人脸替换等各种伪造活动，同时具备高效的实时处理能力，可以或许在短时间内对上传的人脸图像进行检测和分析，及时给出检测结果，满足快速反应和处理的需求。
现在，合合信息提出的伪造人脸检测模子已与一些央企及金融机构睁开落地合作，相关产物也可以在线体验，例如，利用伪造人脸检测识别利用 Stable Diffusion 生成人脸图像，模子可以或许准确给出图像“是伪造”的结论。
新的大模子技术的出现为 AI 视觉安全领域带来了前所未有的机会。大模子通过大量的数据训练和复杂的神经网络布局，可以或许从更加深层次的特性中提取信息，从而提高模子的泛化能力和鲁棒性。尤其是在抗攻击能力方面，大模子在训练过程中可以或许学习到更丰富的图像特性和篡改模式，使得其在面临复杂攻击时仍旧可以或许保持较高的检测精度。与此同时，随着硬件技术和计算能力的不断提升，大模子的训练和摆设也变得更加可行，进一步推动了 AI 视觉安全技术的发展。
3.3 人工智能安全检测评估的逻辑和要点
规范尺度作为 AI 康健发展的外部驱动力，发挥着至关紧张的作用。中国电子尺度院网络安全中心测评实行室副主任、CCIA 数字安全委员会常务副主任何延哲指出，当前人工智能面临网络信息安全、科技伦理安全、算力网络安全、算法模子安全、数据安全和隐私保护等诸多风险，但 AI 安全检测主要会合在内容安全领域，且其检测方法仍显单一，难以全面应对复杂的安全挑战。为此，他将 AI 安全检测评估体系细分为六个关键领域：算力网络安全、数据安全、个人信息保护、算法模子安全、网络信息安全以及科技伦理安全。这一综合评估框架不但可以或许全方位识别和防范 AI 系统中的潜伏风险，还为尺度化工作提供了系统性参考，为未来技术的发展方向提供了可行的引领路径。
3.4 深度伪造视频的自动防御与被动检测技术
以扩散模子、Sora 等为代表的图像与视频创作 AI 工具，带来了巨大的创新，推动了整个行业的变革。然而，随之而来的也有一些潜伏风险，尤其是合成图像与伪造视频的威胁，对个人隐私、媒体可信度构成挑战。深度伪造是指利用深度学习技术，伪造或生成人脸图像，包括整幅人脸合成、人脸属性编辑、身份替换和心情迁移。对此，中国科学技术大学教授谢洪涛，通过对特定人物深度伪造视频的研究，从自动防御和被动检测两个角度介绍了应对深度伪造视频的防御技术，旨在应对 AI 视频合成带来的安全隐患。
自动防御是指在视频生成及传播的初期阶段，接纳一系列预防性措施，以降低伪造和篡改的风险，即便伪造也可以或许顺遂溯源。通过嵌入鲁棒性水印，使图像具有较强的抗篡改能力；通过嵌入半脆弱性水印，可以或许在视频被修改时，产生明显的可视或布局性变化，确保视频内容的真伪可以被追踪和验证。针对现有深度伪造自动取证工作中，未能有效利用面部高级语义信息，导致半脆弱水印嵌入依赖于白盒 Deepfake 模子的问题，提出了语义水印嵌入，通过解耦面部表征，并根据不同种别语义特性的性质计划合理的水印嵌入与提取算法。
被动检测是指人脸素材被恶意伪造后，利用伪造视频自身获取线索或提取特性进行检测。利用图像级的不一致性检测，提出多层级人脸数据增广和令牌一致性度量，利用时空身份不一致性分析，引入区域身份信息提取和时空知识蒸馏。通过上述方法，可以或许在视频内容传播或利用后的阶段检测其是否存在虚假成分。例如，通过分析视频中的人物动作、面部心情、环境光照等因素，评估视频中是否存在技术上无法完全还原的细微不一致性，从而有效判断视频是否被伪造或篡改。
3.5 生成式人工智能安全与治理
与传统人工智能不同，生成式人工智能不但可以或许对输入数据进行处理，更能学习和模拟事物内在规律，自主创造出新的内容。AI 鉴别与合成技术处于相互博弈、密切交错的状态，二者之间的关系紧密而复杂。中国科学院自动化研究所的研究员赫然博士，深入探究了深度合成技术的最新发展，重点分析了虚拟身份生成、身份替换和人脸重演这三种典范的合成技术。
随着深度合成技术的不断进步和深化，更多的鉴别线索逐渐浮出水面，为检测和防范伪造内容提供了有力的依据。这些线索包括模子指纹、图像拼接痕迹、时序闪耀、音视频一致性和语义合理性等细节，通过它们可以有效识别合成视频或图像的真伪。为此，提出了一种多模态、多线索相结合的综合鉴伪方法，利用不同范例的线索共同提升鉴别精度和可靠性，同时利用时空频提示学习方法有效增强了伪造检测模子的泛化能力。别的，还介绍了一种基于 Transformer 架构的视频鉴别技术，这种方法可以或许通过分析视频内容中的时空特性，识别伪造或篡改的痕迹，从而有效提升视频内容的真伪辨识能力。
小结
随着 AI 技术的快速发展，AI 造假问题也越来越严峻，为经济、社会发展带来了诸多挑战，也威胁着的个人的隐私安全和社会的秩序，AI 安全的治理现在是学术界和财产界非常关注的课题。为了应对这一挑战，本文回顾了在《CCF-CV 企业交换会—走进合合信息》活动中，与会专家从羁系、前沿研究、技术实践等多个维度分享的 AI 安全领域的最新研究成果以及实践履历，以推动 AI 在保障安全和公平的基础上康健发展。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
