引领AI发展潮流：打造大模子时代的安全与可信——CCF-CV企业交换会走进合合 ...

一、前言

随着数字化海潮的推动，人工智能技能正在从亘古未有的速度深刻改变着我们的生存、工作方式以及社会结构。AI技能的飞速发展不但为各行业带来了亘古未有的机会，也同时引发了关于其风险与挑战的广泛关注。如何平衡技能进步与安全保障，如何确保AI的可信性和可持续性，已成为行业内外的热点话题。12月11日，由中国计算机学会计算机视觉专委会（CCF CV）与上海合合信息科技股份有限公司团结举办的企业交换会，围绕“打造大模子时代的可信AI”睁开，旨在深度探讨人工智能的安全题目与发展路径，推动产业在快速发展的同时实现可控与康健发展。

二、运动配景与主题

本次交换会的主题为 《打造大模子时代的可信AI》 ，聚焦人工智能技能面对的多重安全挑战。随着深度伪造技能的快速发展，AI算法私见、数据隐私保护等题目的日益凸显，使得AI的信托度和安全性题目成为行业发展的瓶颈。专家学者们深入剖析了这些挑战，讨论了如何在大模子时代建立更为美满的风险防控机制，确保AI技能不但具备强大的计算能力，还能够在伦理、隐私和公平性方面实现可控性。此次会议强调了“可信AI”的焦点价值，并提出了通过跨学科、多方互助来建立可持续的AI发展模子。

三、会议重要观点分享

1.智能共生时代——平衡生成式AI的创新与风险

金耀辉教授，来自上海交通大学，就“智能共生时代：平衡生成式AI的创新与风险”举行了深入的探讨，深入分析了生成式人工智能（AI），尤其是 大语言模子（LLMs） 在快速发展中带来的安全挑战和潜在风险，并探讨了有效的应对策略。
1.1大语言模子的安全挑战

金教授指出，随着LLMs技能的飞速发展，它们在数据安全、知识产权保护、算法私见识别和有害内容生成等方面面对严峻挑战。这些挑战不但涉及技能层面，还触及法律、伦理和社会等多个维度。例如，三星员工违规使用ChatGPT导致秘密资料外泄，以及新闻网站CNET使用LLMs生成的文章包罗严重事实错误，都是LLMs安全风险的详细体现。
1.2应对策略：安全保障本领

金教授提出了三种重要的安全保障本领来应对LLMs的风险：

• 面向安全的练习对齐：通过对LLMs举行微调，使其在性别、种族、宗教等方面不表现出私见。这涉及到算法（如监督式微调和基于人类反馈的强化学习）和数据（如演示数据和偏好数据）的调整，以确保模子在处理敏感信息时的公正性和安全性。
  
  
  
  
• 面向安全的提示引导：利用经心设计的提示词引导LLMs生成安全的响应。金教授提到了Freysa体系，这是一个LLM agent，其体系提示词用于实行安全操纵，如防止资金转移，展示了通过提示工程提拔模子安全性的潜力。
  
• 面向安全的文本过滤：作为大语言模子内容安全的外围护栏，文本过滤技能能够直接防止有害内容的产生。金教授讨论了基于规则和模子的方法，包罗使用传统模子、判别式语言模子和大语言模子举行有害内容检测。
  

金教授的演讲强调了在智能共生时代，平衡AI创新与风险的重要性。他提出的技能策略和实践不但有助于确保LLMs的安全和可靠，也为AI技能的康健发展提供了引导。通过这些步伐，我们可以更好地利用AI技能，同时防范和减少其潜在的风险。
2.视觉内容安全技能的前沿希望与应用

郭丰俊，合合信息图像算法研发总监，就视觉内容安全技能的最新希望和应用举行了深入分享。他强调了在数字化时代，视觉内容安全技能的重要性，尤其是在AI技能推动下，伪造技能的普及使得视觉内容安全面对新的挑战。他的演讲不但展现了技能前沿的最新希望，还展示了合合信息在这一领域的创新实践和行业领导力。
2.1视觉内容安全发显现状

郭丰俊博士指出，随着人工智能技能的快速发展，尤其是深度学习技能的进步，视觉内容的伪造变得更加容易和逼真，这对现有的安全检测技能提出了新的挑战。合合信息作为领先的人工智能及大数据科技企业，正致力于开辟先进的视觉内容安全技能，以应对这些挑战。

2.2行业应用与挑战

郭丰俊博士强调，合合信息在视觉内容安全技能的应用上不断取得突破，这些技能不但在金融、法律和媒体验证等领域发挥着重要作用，还在不断拓展新的应用场景。例如，合合信息的图像篡改检测技能在金融领域的票据和证明文件验证中，有效防止了伪造文件带来的风险。
合合信息到场了《文本图像篡改检测体系技能要求》的制定，这一尺度的发布为行业提供了一个统一的技能规范，有助于提拔整个行业的视觉内容安全技能程度。郭博士提到，这一尺度的制定是合合信息与业界同行共同努力的效果，体现了公司在行业中的领导职位和对技能发展的深刻理解。
2.3技能趋势与代表性工作

郭丰俊分享了视觉内容安全技能的几大趋势，包罗：内容安全体系的重要需求方向，如人脸伪造、图像篡改等。
他还探讨了基于大模子的技能探索方面的成果。ForgeryGPT结合了天然语言处理和计算机视觉技能，用于检测和定位图像中的伪造内容。这一技能的发展，不但提拔了检测的正确性，也为视觉内容安全技能的将来发展方向提供了新的思绪。
郭丰俊博士的演讲不但是对视觉内容安全技能发展的一次深刻剖析，也是对合合信息在这一领域创新实践的一次全面展示。通过他的分享，我们看到了合合信息在推动这一领域进步中的不懈努力。随着技能的不断进步和创新，我们有来由信赖，在合合信息等企业的引领下，视觉内容安全技能将开启一个新的时代，为构建更安全、更可靠的数字世界贡献力量。
3.人工智能安全检测评估的逻辑和要点

3.1人工智能安全风险分析

中国电子尺度院网络安全中央测评实验室副主任、CCIA 数字安全委员会常务副主任何延哲的演讲深入探讨了人工智能安全风险，涵盖了以下关键领域：

1. - 网络信息安全风险：包括虚假内容泛滥、有害内容生成及社会价值引导问题。
2. - 科技伦理安全风险：涉及阶层分化、产业冲击、心理失衡等社会伦理问题。
3. - 算力网络安全风险：关注算力基础设施安全及AI辅助网络攻击问题。
4. - 算法模型安全风险：包括算法歧视、不透明性、决策失衡等问题。
5. - 数据安全和隐私保护风险：涉及数据泄露、滥用、知识产权及身份伪造等问题。

复制代码

3.2安全羁系逻辑

演讲中提出了AI安全羁系逻辑，包罗：

• 算法模子管理：根本信息备案、原理和机制说明、扼要评估结论。
  
• 应用过程管理：限制应用范围、设置拒绝机制、监测应用风险。
  
• 练习数据管理：数据来源合法性、数据标注规范性、内容过滤完备性。
  

3.3安全检测评估框架

何延哲提出了一个多维度的安全检测评估框架，包罗：

• 合规测评/风险评估：依据国家尺度举行AI体系的合规性测评。
  
• 影响评估/合规审计/安全评估：对AI体系的影响举行评估，包罗个人信息保护和数据安全。
  
  
  
  

3.4技能实施细节

在技能实施方面，何延哲详细先容了以下内容：

• 算力网络安全检测评估：包罗网络安全等级保护测评和关键信息基础设施安全评估。
  
• 个人信息保护检测评估：涉及合规审计和影响评估（PIA），重点关注个人权益影响分析和风险评价。
  
• 数据安全检测评估：包罗数据权限梳理、数据举动审计和数据泄露溯源。
  

何延哲强调，构建一个综合的安全治理体系需要技能、法律、政策和尺度的支持。他建议：

• 技能步伐：发展先进的安全检测技能，如基于AI的安全评估工具。
  
• 法律与政策：制定和实施针对AI安全的法律法规，引导AI技能的康健发展。
  
• 尺度制定：依据国家尺度，如GB/T 42888-2023《信息安全技能 机器学习算法安全评估规范》，举行AI体系的安全评估。
  

4.深度伪造视频的主动防御与被动检测技能

中国科学技能大学谢洪涛教授的演讲深入探讨了深度伪造（Deepfake）技能，这是一种利用深度学习伪造或生成人脸图像的技能。他详细先容了深度伪造的分类，包罗整幅人脸合成、人脸属性编辑、表情迁移和身份更换等，并概述了深度伪造技能的发展简史，从2014年的GAN/VAE基础模子到最新的可控图像生成技能。
4.1主动防御与被动检测技能

谢教授区分了主动防御和被动检测两种技能策略：

• 主动防御：在内容发布前添加干扰信号，防止伪造或确保伪造内容能够被溯源。
  
• 被动检测：在人脸素材被伪造后，利用伪造视频自身的线索或特性举行检测。
  

4.2主动干扰技能

谢洪涛先容了主动干扰技能，包罗：

• 通用性人脸预处理主动干扰技能：通过在人脸图像上添加噪声，使得深度伪造模子失效。
  
• 基于解耦的人脸生成过程主动干扰技能：通过在人脸生成过程中添加对抗性噪声，防止伪造。
  

4.3主动取证技能

在主动取证方面，谢教授讨论了：

• 可信来源验证：通过嵌入鲁棒性水印，实现对图像的版权保护与可信来源验证。
  
• 深度伪造取证：通过嵌入半脆弱性水印，实现对图像深度伪造的取证。
  

4.4被动检测技能

谢洪涛还探讨了被动检测技能，包罗：

• 基于图像级不一致性的伪造检测：通过检测图像中的不一致性来识别伪造。
  
• 基于视频级动态不一致性的伪造检测：通过分析视频中的动态厘革来识别伪造。
  
• 基于时空身份信息蒸馏的伪造检测：通过分析视频中的时空身份信息来识别伪造。
  

谢教授分享了其团队在特定人物深度伪造视频的主动防御与被动检测技能方面的最新研究希望，包罗特性空间通用扰动、对抗妆容扰动、双重水印嵌入和语义水印嵌入等技能。

谢洪涛教授的演讲强调了深度伪造技能的发展对个人隐私、国家安全和社会信托的影响，以及主动防御和被动检测技能在应对这些挑战中的重要性。他号令业界和学术界共同努力，发展更先进的技能来检测和防御深度伪造内容，以确保数字媒体的真实性和可信度。为我们提供了深度伪造技能及其检测与防御技能的深入分析，强调了在AI技能快速发展的今天，确保视觉内容安全的重要性和紧急性。
5.生成式视觉内容鉴别与安全

中国科学院主动化研究所的研究员赫然博士在其演讲中深入剖析了生成式人工智能（GenAI）的安全性和治理题目，特别强调了随着GenAI技能的进步，其在创造新内容方面显现出的巨大潜力，以及随之而来的安全风险和挑战。
5.1生成式AI的技能进步与风险并存

赫然指出，生成式AI技能的发展已经从早期的规则基础体系演变为现今深度学习的复杂模子，如GAN和VAE。这些技能的进步使得高维视觉内容的生成变得更加逼真和高效，但同时也带来了数据版权、隐私泄露和模子脆弱性等题目。特别是在深度伪造技能方面，其以人为主体的欺骗性给个人隐私、国家安全乃至国际关系都带来了亘古未有的挑战。

5.2国际战略结构与安全风险管理

赫然分析了国际上对生成式AI安全风险的关注和战略结构。差异国家和地区根据自身的安全和发展需求，对GenAI的安全题目采取了差异的策略。例如，美国和欧盟更加器重个人隐私和伦理题目，而俄罗斯和以色列等国家则更关注其在军事领域的应用。这些差异的战略结构反映了GenAI技能在环球范围内的深远影响和紧急的安全需求。
5.3特性表示模子与深度伪造检测

在深度伪造检测方面，赫然提到了特性表示模子的重要性。这些模子能够捕捉到伪造内容的特性，帮助区分真实与伪造的媒体内容。他强调了在这一领域中，如何进步检测的正确性和鲁棒性是当前研究的重点。
5.4生成模子与虚拟身份的构建

赫然探讨了生成模子在构建虚拟身份方面的应用，包罗无条件人脸合成和身份更换技能。这些技能的应用范围从娱乐到安全领域，都显示出了巨大的潜力。然而，这也带来了身份盗用和伪造身份的风险，需要通过技能本领举行有效管理和控制。
赫然的演讲强调了在享受生成式AI技能带来的便利的同时，必须对其潜在的风险保持警惕，并采取相应的安全步伐。他号令学术界、工业界和政策制定者共同努力，制定出一套全面的安全治理框架，以确保技能的康健发展和应用。
四、总结

随着人工智能技能的不断创新与普及，AI安全题目日益成为环球讨论的焦点。如何确保AI技能在带来社会厘革的同时，不引发不良结果，是每个从业者和决议者必须面对的挑战。本次CCF-CV企业交换会汇聚了来自学术界、产业界的领先专家，共同探讨了AI安全领域的前沿技能和将来发展方向。通过深入的交换与探讨，会议展示了AI技能如何在保障安全性的同时，更好地服务于社会和人类的长远发展。信赖通过政府、学术界和产业界的持续互助，我们能够共同推动AI技能康健、可持续的发展，构建更加智能、可信的将来。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。