ToB企服应用市场:ToB评测及商务社交产业平台

标题: 签署《AI安天下际对话威尼斯共识》智源持续推动人工智能安全发展 [打印本页]

作者: 羊蹓狼 时间: 2024-10-15 00:28
标题: 签署《AI安天下际对话威尼斯共识》智源持续推动人工智能安全发展
克日，由AI安天下际论坛（Safe AI Forum）和博古睿研究院（Berggruen Institute) 共同举办的第三届国际AI安全对话（International Dialogues on AI Safety）在威尼斯举办。图灵奖得主Yoshua Bengio、姚期智教授，加州大学伯克利分校教授Stuart Russell，北京智源人工智能研究院创始理事长张宏江博士，清华大学讲席教授、智能财产研究院院长张亚勤等多位举世顶尖的人工智能科学家出席活动，颠末为期三天的讨论，共同达成了《AI安天下际对话威尼斯共识》。

AI安天下际对话发起人，从左到右依次是Stuart Russell，姚期智，Yoshua Bengio，张亚勤

共识指出，人工智能体系的滥用或失控可能给全人类带来灾难性后果。然而，我们尚未开发出必要的科学本领来管控和保障对高级智能的使用。由于人工智能带来的风险具有举世性，我们必须将人工智能安全视为举世公共产物，并为实现这些风险的举世治理而积极。我们必须未雨绸缪，齐心防范任何随时可能出现的灾难性风险。国际社会的初步积极办法表明，纵然在紧张的地缘政治局势下，在人工智能安全和治理方面开展国际互助也是可以实现的。然而，各国必要在现有的积极上迈出更大步伐。

北京智源人工智能研究院创始理事长张宏江，与即任约翰·霍普金斯大学教授Gillian Hadfield

作为人工智能领域的新型研发机构，智源研究院自成立以来高度关注人工智能安全与治理议题并积极推动国际交流与互助。2019年，智源研究院倡导北京多家高校、科研机构与企业联合发布了《人工智能北京共识》，为规范和引领中国人工智能安全健康发展提供了“北京方案”。
本年3月，智源研究院发起并主理了我国首个AI安全高端闭门论坛——“北京AI安天下际对话”，与会专家共同制定并签署了《北京AI安天下际共识》（全文链接：https://baai.org/l/IDAISBeijing），提出人工智能风险红线及安全治理路线，同时号令“在人工智能安全研究与治理上的举世协同举措，是避免不受控制的前沿人工智能发展为全人类带来生存风险的关键”，得到广泛性响应。
本年6月，在智源研究院举办的北京智源大会AI安全论坛上，中美等国家和地区的多位AI安全领域的专家学者开展对话，共同探讨构建安全可控AI的方法与路径，以及在举世范围内举行广泛的学术交流与互助。
此次威尼斯国际AI安全对话，智源研究院创始理事长张宏江博士，院长王仲远以及大模型安全中心项目主任、北京大学人工智能研究院助理教授杨耀东，均为《AI安天下际对话威尼斯共识》签署人。未来，智源研究院将持续积极推动AI安全技术发展，促进AI安天下际互助与共识达成。

《AI安天下际对话威尼斯共识》

人工智能体系能力的迅速发展，正将人类推向一个人工智能可以达到乃至超越人类智能的世界。专家广泛认同这些人工智能体系可能会在未来数十年内被开发出来，很多人以为它们的到来会更快。人工智能体系的滥用或失控可能给全人类带来灾难性后果。然而，我们尚未开发出必要的科学本领来管控和保障对高级智能的使用。由于人工智能带来的风险具有举世性，我们必须将人工智能安全视为举世公共产物，并为实现这些风险的举世治理而积极。我们必须未雨绸缪，齐心防范任何随时可能出现的灾难性风险。
国际社会的初步积极办法表明，纵然在紧张的地缘政治局势下，在人工智能安全和治理方面开展互助也是可以实现的。各国政府和人工智能开发者在两次峰会上承诺遵循基础性原则，以促进人工智能的负责任发展，并最大限度地减少风险。得益于这些峰会，各国连续设立了人工智能安全研究所或相似机构，推进测评、研究和标准制定工作。
上述积极值得肯定，必须持续推进。各国必要为人工智能安全研究所提供足够的资源，并继承召开峰会，支持其他国际治理办法。然而，各国必要在现有的积极上迈出更大步伐。作为第一步，各国应设立有能力在其境内监测和应对人工智能事故与灾难性风险的部门。各国监管部门应协同互助，制定应对重大人工智能事故与灾难性风险的举世应急计划。久远来看，各国应建立国际监管机制，以防止出现可能带来举世灾难性风险的模型。
我们必须开展深入的基础研究，以确保高级人工智能体系的安全性。这项工作刻不容缓，以确保我们拥有充足的时间来开发和验证相干技术，在必要管控高级人工智能时应对自如。为此，我们号令各国将人工智能安全视为一个独立于人工智能能力地缘战略竞争的互助领域，专注于国际学术与技术互助。
为了应对可能到来的由高级人工智能体系引发的灾难性风险，国际社会应思量启动以下三项工作程序：应急预备协议和制度：通过这一机制，各国的安全监管部门可召集会议，互助制定并承诺实施模型注册和披露制度、事故陈诉机制、预警触发点及应急预案。
安全保障体系：当模型的能力超过特定阈值时，要求开发者为模型的安全性提供高度可信的论证。对于高性能的人工智能体系，随着它们的广泛应用，摆设后的监控也将成为保障体系的关键构成部门。这些安全保障步伐应接受独立审计。
举众人工智能安全与验证的独立研究: 应通过技术开发，使各国能够确认开发者以及其他国家提出的与人工智能安全相干的声明是真实有效的。为了确保研究的独立性，这项研究应在举世范围内举行，并由多个国家的政府和慈善机构共同资助。
应急预备协议和制度
就应对先进人工智能体系所需的技术和制度步伐，各国应达成一致，无论这些体系的开发时间线如何。为促进这些协议的达成，我们必要建立一个国际机构，将各国人工智能安全监管部门聚集在一起，在制定和稽核人工智能安全法规方面，推动不同司法管辖区的对话与互助。该机构将确保各国采纳并实施一套基本的安全预备步伐，包括模型注册、信息披露与预警机制。
随着时间推移，该机构还可以制定验证方法的标准，并承诺使用这些方法来执行各国对安全保障体系的当地化实施。各国可以通过赏罚机制来相互监督这些方法的执行，例如将市场准入与服从举世标准挂钩。专家和安全监管机构应建立事故陈诉和应急预案，并定期交流，确保验证过程中接纳的方法反映出当前最新的科学理解。该机构将发挥关键的初步和谐作用。然而，从久远来看，各国必要进一步积极，确保对高级人工智能风险的有效举世治理。
安全保障体系
前沿人工智能开发者必须向本国监管部门证明，其所开发或摆设的体系不会逾越红线，例如在AI安天下际对话北京共识中所界定的红线。
为实现这一目的，我们必要在风险和红线问题上进一步建立科学共识。此外，我们应建立预警阈值，即模型的能力程度表明该模型可能会越过或接近越过红线。该方法建立在现有的自愿承诺（如负责扩大政策）的基础上，对不同框架举行统一和和谐。能力低于预警阈值的模型只需有限的测试和评估，而对于超出这些预警阈值的高级人工智能体系，我们则必须接纳更严格的保障机制。
固然测试可以警示我们关注风险，但它只能提供对模型的大略理解，无法为高级人工智能体系提供足够的安全保障。开发者应该提交高置信度的安全案例，并以一种能够说服科学界相信其体系设计是安全的方式举行量化，这也是其他安全关键工程学科的常见做法。此外，足够先进体系的安全陈诉应讨论开发者的构造流程，包括有利于安全的激励机制和问责结构。
当前的摆设前测试、评估和保障步伐远不敷充实。高级人工智能体系可能会逐渐增长与其他人工智能体系和用户举行的复杂多智能体交互，而这可能导致难以猜测的潜伏风险。摆设后的监控是整个保障体系的关键部门，它可以包括对模型行为的持续自动评估、人工智能事故追踪的集中数据库，以及人工智能在关键体系中的应用陈诉。进一步的保障还可以通过自动化运行时验证来实现，例如确保安全陈诉中的假设条件依然成立，并在模型运行到超出预期范围的情况时安全地关闭体系。
各国在确保安全保障的落地中发挥着关键作用。各国应要求开发者定期举行测试，判断模型是否具备带来潜伏风险的能力，并通过第三方独立的摆设前审计保证透明度，确保这些第三方得到必要的权限，包括开发者的员工、体系和记录等必要证据，以核实开发者的主张。此外，对于超出早期预警阈值的模型，各国政府可要求开发者在进一步练习或摆设这些模型前，必须得到独立专家对其安全陈诉的批准。各国可以帮助建立人工智能工程的伦理规范，例如要求工程师承担类似于医疗或法律专业人士的个人责任，掩护公众利益。末了，各国还必要建立治理流程，以确保摆设后的充实监测。
尽管各国在安全保障体系上可能有所差异，国家间仍应互助，确保体系间的互认性与可比性。
举众人工智能安全和验证的独立研究
AI安全和验证的独立研究对于开发确保安全的高级人工智能体系至关重要。国家、慈善机构、企业、和专家应设立一系列举众人工智能安全与验证基金。这些资金应当逐步增长，直至其在举众人工智能研发付出中占据重要比例，以充实支持并增强独立研究能力。
除了人工智能安全基础研究，这些资金的其中一部门将专门用于隐私掩护和安全验证方法的研究，为国内治理和国际互助提供支持。这些验证方法将允许各国可信地核实人工智能开发者的评估效果，以及他们在安全陈诉中指定的任何缓解步伐是否到位。在未来，这些方法还可能允许各国验证其他国家提出的相干安全声明，包括对安全保障体系的服从情况，以及重大练习运行的申报。
全面的验证终极可以通过多种方式举行，包括第三方治理（如独立审计）、软件（如审计跟踪）以及硬件（如人工智能芯片上的硬件支持治理机制）。为确保举世信任，跨国联合开发验证方法，并对其举行压力测试将变得尤为重要。
至关重要的一点是，举世广受信赖的验证方法，在过去曾使各国能在举世地缘政治紧张局势下，对特定的国际协议作出承诺，而它在未来也可能再次发挥同样的作用。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)