【AIGC安全】CCF-CV企业交流会直播回顾：探寻AI安全管理，共筑可信AI未来 ...

---

一、运动配景：AI技术快速发展与安全管理需求迫切

随着人工智能（AI）技术的迅猛进步，尤其是以ChatGPT为代表的大型语言模子技术的兴起，AI技术已广泛渗透至各个领域。然而，AI技术的快速发展亦陪同着一系列安全隐患的出现，如数据安全、知识产权、算法私见、有害内容生成以及深度伪造、AI诈骗等。这些标题不仅引起了公众的广泛关注和深切担心，也对AI技术的健康发展和社会的和谐稳定构成了潜伏威胁。全国网络安全标准化技术委员会等机构亦发布了相干框架和引导原则，旨在规范AI技术的发展和应用，降低其潜伏风险。同时，学术界和工业界也在积极探索AI安全管理的途径，从立法、监管、前沿研究、技术实践等多个层面出发，寻求有用的办理方案。
正是在此配景下，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模子期间的可信AI》论坛应时而生。该论坛旨在汇聚来自高校、研究机构、企业的专家学者，共同探讨AI安全领域的最新进展和未来趋势，为AI技术的健康发展提供有益的思路和发起。

---

二、论坛内容

论坛伊始，在热烈的掌声中，中国计算机学会计算机视觉专委会副秘书长潘金山博士走上台前，发表了热情洋溢的致辞。潘金山博士首先对各位嘉宾和参会者的到来表示了热烈的接待和衷心的感谢。他提到，在这个大模子期间，AI技术正以前所未有的速度改变着我们的生存和工作方式。然而，随着AI技术的广泛应用，其安全性标题也日益凸显，成为制约AI技术进一步发展的重要因素。潘博士强调，AI安全管理不仅关乎技术的健康发展，更关乎社会的和谐稳定。因此，加强AI安全管理，推动AI技术向善发展，已成为我们共同的责任和使命。他希望通过此次论坛，能够汇聚来自高校、研究机构、企业的专家学者，共同探讨AI安全领域的最新进展和未来趋势，为AI技术的健康发展提供有益的思路和发起。在致辞的末了，潘金山博士预祝本次论坛圆满乐成，并期待各位嘉宾和参会者能够收获满满，为AI安全管理事业贡献本身的气力。

---

金耀辉：智能共生期间：平衡生成式AI的创新与风险

上海交通大学人工智能研究院教授、总工程师金耀辉老师在分享中指出，大语言模子的内容安全风险多种多样，包罗提示词注入、输出处理惩罚不安全、练习数据中毒、模子拒绝服务等。这些风险不仅影响模子的性能，还大概对社会造成负面影响。比方，三星员工违规使用ChatGPT导致机密资料外泄，消息网站CNET使用LLMs生成文章却包含严重究竟错误，这些案例都为我们敲响了警钟。
那么，如何保障LLMs的内容安全呢？金耀辉老师提出了几种安全保障本领。首先是练习对齐，通过算法和数据对模子进行微调，使其更加符合安全需求。这种方法可以加强模子的整体安全性能，淘汰算法私见和有害内容的生成。此外，另有面向安全的提示引导和文本过滤等方法。提示引导利用特定流程和计谋引导LLMs，进一步激活其固有的安全属性；而文本过滤则通过外接模块检测有害内容，并触发处理惩罚机制，防止有害内容的产生和传播。
金耀辉老师的分享为我们提供了名贵的见解和思考。在享受生成式AI带来的便利和创新的同时，我们也必要时候关注其带来的风险和挑战，积极寻求办理方案和保障本领。只有如许，我们才华真正实现生成式AI的创新与风险的平衡，推动人工智能技术的健康发展。

---

何延哲：人工智能安全检测评估的逻辑和要点

然而，仅有技术本领是不够的，规范标准也是AI健康生长的外部气力。中国电子标准院网安中心测评实行室副主任何延哲就人工智能安全检测评估的核心逻辑与关键要点进行了出色纷呈的分享。
何延哲老师首先强调了人工智能安全检测评估的配景与须要性。随着人工智能技术的迅猛发展，其带来的安全风险也日益凸显，涵盖网络信息安全、科技伦理安全、算力网络安全、数据安全与隐私保护等多个维度。这些风险不仅关乎个人权益，更大概对社会稳定与经济发展产生深远影响。
针对这些风险，何延哲老师深入剖析了当前人工智能安全检测评估的方法与思路。他提到，我国已出台多项相干法律法规、政策文件及标准规范，为人工智能安全检测评估提供了坚固的制度保障。同时，他还介绍了人工智能安全模块的拆分与检测评估的根本思路，包罗算力网络安全、个人信息保护、数据安全等关键领域。
在分享中，何延哲老师特别强调了基于人工智能相干标准规范的安全检测评估机制的重要性。他详细解读了《信息安全技术 呆板学习算法安全评估规范》、《基于个人信息的主动化决策安全要求》等标准规范，并指出这些规范为人工智能安全检测评估提供了明白的引导与依据。此外，何延哲老师还强调了加强个人信息处理惩罚全生命周期保护、定期开展合规审计、接纳加密等措施保障个人信息安全的重要性。

---

谢洪涛：面向特定人物深度伪造视频的主动防御与被动检测技术

在下一环节，中国科学技术大学教授谢洪涛，为与会者带来了一场关于面向特定人物深度伪造视频的主动防御与被动检测技术的深度解析。
谢洪涛教授首先介绍了深度伪造技术的配景及其发展现状。他指出，随着深度学习技术的飞速发展，深度伪造技术已经能够在人脸图像、语音等领域实现高度逼真的伪造结果，这无疑给个人隐私、国家安全等方面带来了前所未有的挑战。随后，谢教授详细论述了主动防御与被动检测技术的核心原理。主动防御技术主要是在内容发布前添加一定水平的干扰信号，以防止伪造或即便伪造也能够顺利溯源。而被动检测技术则是在人脸素材被恶意伪造后，利用伪造视频自身获取线索或提取特性进行检测。
在主动防御方面，谢教授介绍了通过添加对抗攻击噪声、嵌入特定信息等方式，实现对特定人物视频图像的主动干扰和主动取证。这些技术能够有用防止伪造者利用深度伪造技术对视频进行篡改，从而保护个人隐私和国家安全；在被动检测方面，谢教授则重点介绍了基于多模态先验知识的同等性检测、基于多层级纹理不同等性学习的深度伪造人脸检测等技术。这些技术能够通过对伪造视频进行精致化的分析，准确辨认出伪造痕迹，从而实现对深度伪造视频的有用检测。
此外，谢洪涛教授还分享了其研究团队在主动防御与被动检测技术方面所取得的最新研究结果。他们提出了一系列创新性的算法和方法，如基于扩散模子的反演能力搜索对抗人脸、基于互相干序列嵌入水印等，这些结果在学术界和工业界都产生了广泛的影响。

---

郭丰俊：视觉内容安全技术的前沿进展与应用

随后，合合信息图像算法研发总监郭丰俊的分享让我看到了AI技术在图像篡改检测方面的最新结果。在开篇部分，郭丰俊老师不仅指出了当前视觉内容安全需求日益增多的缘故原由，还强调了这一领域的重要性。他提到，随着AI技术的不停发展，伪造技术也在不停进步，这使得伪造内容变得更加难以辨认。同时，黑灰产利用这些技术进行非法运动，给社会带来了极大的危害。因此，企业、当局等对于视觉内容安全的需求变得越来越迫切。
郭丰俊老师介绍合合信息的通用篡改检测现在已经落地证券、保险、银行、零售等行业，同时支持证照、证书、票据、截图、扫描文档等通用类的篡改模子。别的一个人脸鉴伪检测产物也已经落地，支持换脸、生成式人脸检测等。

---

别的，郭老师介绍，合合信息文档图像篡改检测比年来受关注水平也越来越高，从2022年以来，相干方向的比赛多次收获了第一名的好成绩。

在谈到视觉内容安全技术的挑战时，郭丰俊老师不仅列举了当前技术面临的主要标题，还深入分析了这些标题的根源和办理方案。他提到，跨域泛化能力是当前技术面临的一大挑战，因为不同领域的数据分布和特性差别很大，导致模子在不同领域上的表现差别也很大。为了办理这个标题，学术界和工业界都在探索新的方法和算法，以进步模子的泛化能力。此外，他还提到了截图或PDF等纯色配景图篡改检测、质量退化导致的篡改痕迹丧失以及检出精度与误检率的矛盾等标题，并给出了相应的办理方案和发起。
他提到，随着深度学习技术的不停发展，越来越多的研究者开始探索基于深度学习的篡改检测方法，这些方法在检测精度和效率上都有了很大的提升。此外，他还介绍了基于区块链的内容追溯技术、基于多模态信息融合的篡改检测方法等前沿研究方向，这些方向都具有很大的潜力和应用前景。
在总结部分，郭丰俊老师不仅强调了视觉内容安全技术的重要性，还号令业界同仁共同努力，推动这一领域的发展。他提到，制定相干标准和规范是促进内容安全系统更好落地的重要举措之一，因为标准和规范可以为行业提供明白的引导和方向。同时，他也对大模子等新技术的应用表示了期待和关注，认为这些新技术将为视觉内容安全技术带来新的突破和发展机会。郭丰俊老师的分享内容丰富、见解独到，为我们提供了一个全面相识视觉内容安全技术的机会。

---

赫然：生成式人工智能安全与管理

中国科学院主动化研究所研究员、IEEE/IAPR Fellow赫然博士的分享则让我对人工智能鉴别与合成技术之间的博弈有了更深入的认识。赫然博士首先介绍了生成式人工智能的根本概念和发展进程。他强调，生成式人工智能作为人工智能的一个重要分支，已经取得了显著的进步，并在各个领域展现出巨大的潜力。然而，随着其应用的日益广泛，安全和管理标题也日益凸显。
赫然博士指出，生成式人工智能面临的主要安全风险包罗数据泄露、隐私侵犯、内容造假等。这些风险不仅大概对个人造成危害，还大概对国家安全和社会稳定构成威胁。因此，加强生成式人工智能的安全与管理显得尤为重要。
为了应对这些挑战，赫然博士提出了一系列发起。他强调，应创建健全的生成式人工智能监管机制，明白责任主体和监管标准。同时，加强技术研发和创新，进步生成式人工智能的安全性和可控性。此外，还应加强国际互助与交流，共同应对生成式人工智能带来的环球性挑战。

---

三、回顾总结

整场直播下来，我深感收获颇丰。我不仅学到了最新的AI技术知识，更对AI安全管理有了更深入的认识。我意识到，AI技术的快速发展带来了前所未有的机会和挑战，而加强AI安全管理、推动AI向善发展是我们每个人的责任。同时，我也看到了专家学者们在AI安全管理方面所做出的努力和取得的结果，这让我对AI技术的未来发展充满了信心和期待。
回顾这场盛会，我感受到了专家学者们对AI安全管理的深刻洞察和坚定信心。我相信，在他们的共同努力下，AI技术一定会更加安全、可信、可靠地服务于人类社会。而我，也将继承关注AI技术的发展动态，为AI技术的健康发展贡献本身的一份气力。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。