Ilya出走记：SSI的超等安全革命
https://img-blog.csdnimg.cn/direct/ca42e7d5afa4499098be61d4a9794215.jpeg图片｜OpenAI官网©自象限原创
作者丨罗辑、程心
和OpenAI分道扬镳以后，Ilya“神秘而伟大”的奇迹终于揭开了面纱。
6月20日，前OpenAI焦点创始人 Ilya Stuskever，在官宣离职一个月后，Ilya在外交媒体平台公开了最新的动向：将成立新的实验室Superintellgence（以下简称SSI），构建安全的超等智能。https://img-blog.csdnimg.cn/direct/8771ac03579544e7854845ca33a385cb.jpeg
▲图源：外交媒体X截图
这个名，明眼人一看就知道是冲着OpenAI去的。
2023年12月，在OpenAI十年的Ilya官宣离职引起了整个AI圈的轩然大波。固然离职的具体原因扑朔迷离，但在Ilya离职前后，OpenAI负责模子安全的由Ilya主导的超等对齐(Superalignment)实验室公布遣散，外界纷纷推测，Ilya不停以来的理念是谨慎地发展人工智能，与Altman大刀阔斧地推进技能的战略相左。
而SSI，首先对峙了OpenAI成为非营利组织独立实验室的初衷，其次践行了Ilya不停以来对模子安全的谨慎态度。并且Ilya还补充道：我们将以一个焦点、一个目标、一个产品，直接寻求安全的超等智能。https://img-blog.csdnimg.cn/direct/194f3b47177d4398a7292c2417f1adb0.jpeg
▲图源：外交媒体X截图
截至发稿前，Sam Altman并未回应，并没有让吃瓜群众们预想的“Altman假惺惺的表示祝福”成真。
而之所以业内如此器重Ilya在这个节点成立SSI，并不但是由于这个人，更是大模子的发展已经到了不得不器重模子安全的重要节点。
在刚刚已往的北京智源大会上，杨植麟、张鹏等一线创业者也曾讨论过这个问题，我们对模子安全的器重水平远远小于它的重要水平，而SSI的成立，大概会开辟一条与OpenAI完全相反的路。
用Ilya的眼睛，看AI的伤害
好像Ilya对模子安全是执拗的，甚至被人暗指“没须要”。“如果不是由于他是OpenAI的技能首脑，曾一手打造了GPT、DALLE-E等明星产品，SSI根本不会受到如此大的关注。”
但他们却忽略了，Ilya对人工智能技能的重要性，并不是从OpenAI开始的，而是从他的老师辛顿就奠定了他的话语权。
从80年代就开始战斗在人工智能最前线的辛顿，被誉为“深度学习之父”。作为传授的他桃李满天下（包罗吴恩达），在他年轻一代的学生中，Ilya是最得意的门生之一。https://img-blog.csdnimg.cn/direct/b5f5fa2cba874b38b088f1a3085eb363.jpeg
▲图源：辛顿和Ilya合影
2023年5月初，辛顿辞去他在谷歌担任了十多年的职位，表示作出这个决定是为了可以自由讨论“人工智能的伤害”。今后，他频仍接受媒体采访，不遗余力地对人工智能可能利用人类发出警报。
只管人类可以赋予人工智能一些伦理原则，但辛顿仍然感到告急，“由于到现在为止，我还想象不到更智能的事物被一些没它们智能的事物所控制的例子。打个比方，假设青蛙创造了人类，那么你认为现在谁会占据自动权，是人，还是青蛙？”
师从辛顿的Ilya，几乎完全继承了被辛顿“蒸馏”过的，对于人工智能的谨慎，以及在谨慎之下的小心翼翼。
Ilya之于OpenAI，许多网友都认为他的个人贡献要大于Sam Altman。如果说SamAltman是OpenAI的面子，那Ilya就是OpenAI的里子，或者说是技能灵魂。https://img-blog.csdnimg.cn/direct/2a2cf133802a4cafba8f411b9e438b74.jpeg
私底下的Ilya很内向但却并不胆怯。他之所以如此，很多人好奇，他作为影响这个天下技能变革的人，肯定看到了什么。https://img-blog.csdnimg.cn/direct/2a66de51a2944532b66fbbdeb9b83990.jpeg
但却没有人知道。
Ilya在OpenAI打造的超等对齐实验室，目的就是为了通过可控的技能手段使得AI发展的路径可控，确保AGI的发展符合人类利益。
一些前OpenAI员工透露,Ilya对超等对齐实验室的工作非常器重，并亲自参与其中。他希望通过这一实验室的工作，为将来的AGI体系计划出可靠的对齐方案。
想要理解作甚“超等对齐”，就要演示一下现在的对齐技能，通过RHLF注入，能够实现两种对齐：一种是价值观的对齐：比如不要创建男女的性别对立、不要鄙视同性恋等等；另一种是话题层面的对齐：明确国家的边界、不让搞黄色、不能诈骗等等。但Ilya所谓的超等对齐，却并不是这么简单。
有人还记得人工智能的三原则么？
其中之一便是“无条件服从人类”，而价值观和话题的对齐是远远不足以完成这个目标的，Ilya他认为技能的本质类似于人类的生物进化，如果进化的开始，是一个没有“无条件对人类的爱”的 AI，那等它长成AGI以后，也肯定不可控。
对应了他在X中发表的：直接寻求安全的超等智能。
没错，超等对齐的本质实在是通过让大模子产生“对人类无条件的爱”。
这听起来好像很扯淡，但大概SSI的本质就是如此。
人，AI安全的末了一道防线
那么问题来了，大部分人做不到。
是的，可能大部分公司都是OpenAI而非SSI。那么除了大模子公司在内部致力于构建一个安全、可信的大模子之外，这两年随着技能和应用的发展，社会各界也对AI和大模子的安全作出了许多积极。
2021年11月，联合国教科文组织就曾通过《人工智能伦理问题发起书》，希望为人工智能的发展，以及预防其潜在风险提供发起。
本年3月份，联合国教科文组织总干事奥德蕾·阿祖莱还在公开号令，希望各国尽快实施这项发起，为人工智能发展设立伦理标准。
而随着中国AI大模子的发达发展，中国企业也越来越多地参与到了这类国际AI安全准则的订定中。
比如本年4月在日内瓦召开的联合国科技大会上，天下数字技能院（WDTA）发布了《生成式人工智能应用安全测试标准》和《大语言模子安全测试方法》两项国际标准。
而这两项标准，由来自百度、腾讯、蚂蚁集团、科大讯飞等浩繁中国企业的专家学者共同参与体例而成。https://img-blog.csdnimg.cn/direct/76fd271c5d3a42fb9f9b15d6d62a64fe.jpeg
在国际组织通过体例规范引导AI安全发展的同时，各地当局的法案也在相继落地。
5月21日，欧洲的《人工智能法案》正式获得了欧洲理事会的答应。这项法案最早由欧盟委员会在2021年提出，作为全球首个AI法案，它通过构建广泛实用的人工智能羁系机制，为人工智能技能的发展提供了法律框架，为全球的AI羁系提供了可鉴戒的法律基础。
国内AI安全相关的政策则落地在2023年7月，国家网信办联合国家发改委、工信部等七部门，公布了《生成式人工智能服务管理暂行办法》，该办法就生成式人工智能可能面对的安全问题提出了一系列明确的约束规范。
固然，法律规定的社会的下限，大模子安全的上线仍然需要在产业界寻找答案。
我们前面提到，大模子在公司内部训练的过程中，需要通过数据、算法、学习框架等多个维度保证大模子的安全可靠。
但实在在公司外部，完成训练的大模子要推向市场，还存在一套由第三方完成的大模子安全测试评估框架，现在主流的安全性测评方法重要有固定数据集测评和红队模子测评两类。
2023年，OpenAI在GPT-4发布之前就曾对其进行了六个多月的评估、测试及改进。在这轮测试中，OpenAI就约请了AI范畴专家参与红队测试（Red Teaming）以辨认安全风险。
固定数据集测评，则是由研究职员针对大模子的各类安全风险订定风险评估矩阵，类似绩效考核打分。
研究职员通过人类标注数据的方式采集安全性评估数据，然后以测试模子在这些数据集上的表现评估模子的安全水平。
2023年底，OpenAI在官网公布了名叫“Preparedness Framework”的安全评估框架，是这类固定数据集测评的范本之一。https://img-blog.csdnimg.cn/direct/4dc0c31844134a3aa61987ac57995b5a.jpeg
▲OpenAI安全评估模子的计分卡，图源：OpenAI官网
在国内，清华大学计算机系的黄民烈研究团队在2023年3月就发布了大模子安全分类体系，该团队从体系层面和模子层面出发，打造更可控、可信的大模子安全框架，是国内较早参与到模子安全评估体系的团队之一。
除此之外，蚂蚁安全实验室也推出了大模子安全检测平台“蚁鉴2.0”和大模子风险防御平台“天鉴”两大产品。
在具体本事上，风险监测平台可以诊疗检测、定位问题；风险防御平台可以对风险进行防治。
比如在大模子生成可控问题上，蚂蚁安全实验室提出了如通过SFT、RLHF/RRHF、RLAIF等技能和高质量标注做人类对齐；在图像方面做风险抑制，进行可控调试；为大模子外挂万万级安全知识库生成和检索等等方式。
在模子层面的问题之外，利用模子带来的安全问题也同样重要。
6月11日，苹果在WWDC上推出了其全新的 AI 体系“Apple Intelligence”。为了保护用户隐私和数据安全，苹果将大模子的工作分为两类。
其中简单的任务在手机设备端执行，保证数据不离开手机。如果是需要调用云端算力的复杂任务，苹果打造了一套具备芯片级别隐私和安全保护的服务器——“Private Cloud Compute”。这套服务器可以实现加密传输，服务器只辨认数据，不收集数据，且在任务完成后，该数据也会被立即删除。
其中关键的一点是，Apple Intelligence集成了GPT-4o作为第三方大模子支持。为了保证数据安全和用户的知情权，苹果设置Siri启用Chat GPT时会向用户提出申请。
也就是说，在苹果的安全框架里，固然企业会做好统统前期准备，但用户自己才是安全防范的末了一道防火墙。https://img-blog.csdnimg.cn/direct/5ac88ee685ca45148e68b627dacb2877.jpeg
就像OpenAI不停都在官网提醒用户，“在利用 GPT-4 输出的内容时应格外小心，特别是在高风险场景下（如医学、化学等范畴），需要人工核查究竟准确性或者避免利用 AI 给出的答案。”
所以，固然身处AI时代，工具已经如此强大，但在统统工具停当之后，我们仍应记住，我们自己才是保护自己的末了一道防线。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]