本地时间5月28日午间，OpenAI 的前首席安全研究员 Jan Leike 发布 X 动态宣布，他已加入曾经的竞争对手公司 Anthropic。
Jan Leike 表示：“我很高兴加入 Anthropic，继承超级对齐任务！我的新团队将致力于可扩展监督、弱到强泛化和主动对齐研究。如果您有兴趣加入，我的 DMS 是开放的。”
这10名员工，包括 GPT-3 论文第一作者Tom Brown、OpenAI 前政策负责人 Jack Clark，以及Gabriel Goh、Jared Kaplan、Sam McCandlish、Kamal Ndousse等。Anthropic 创始焦点成员大部分来自于OpenAI原有团队，并在AI可表明性、AI 模型安全筹划事故分析、引入人类偏好的强化学习等方面有颇深的造诣。
其时曾有媒体推测，面对安全焦点成员出走的OpenAI大概在这些范畴会逊色于Anthropic。而前 OpenAI 超级对齐团队向导者 Jan Leike 的加入，更会加剧这一倾向。
Anthropic旨在创造可利用、可表明的人工智能体系，“当今的大型通用体系可以带来显著的好处，但也大概无法推测、不可靠和不透明：我们的目标是在这些问题上取得进展。”Dario Amodei曾对外表示，“Anthropic的目标是推进基础研究，让我们能够构建更强大、更通用、更可靠的人工智能体系，然后以造福人类的方式摆设这些体系。”
承接创始人的意愿，Anthropic 经常将自己定位成为比 OpenAI 更注重安全的 AI 公司。目前，多个层面显示出， Leike 的团队与 OpenAI 近来遣散的超级对齐团队的任务很相似。
Amodei 在与 OpenAI 发展方向产生分歧时，想要先办理的办理神经网络的“黑盒”问题，可以理解为能够将数据转酿成其它东西一个算法，此中的问题在于，黑盒子在发现模式的同时，经常无法表明发现的方法。
此前，谷歌 AI Overviews 提供的“披萨上涂上胶水”“人每天应该至少吃一块小石头”等希奇搜刮答案，也是基于互联网数据输入的转化造成的输出失控。
而超级对齐是一种确保人工智能体系的行为与人类价值观和目标高度一致的技术和方法论。随着 AI 技术的发展，尤其是在决议本领和自主性方面，确保它们的举措不会偏离人类的最佳长处变得尤为重要。
目前，超级对齐的研究重要会合在如何通过算法和政策确保 AI 体系在担当训练和实行任务时能够理解并遵照人类的伦理标准。研究人员和工程师们正在探索多种机制，包括强化学习的修正、决议框架的伦理整合，以及交互式机器学习，这些方法都旨在进步 AI 体系对人类引导的响应性温顺应性。
而Anthropic 公司的英文单词意思，就是有关人类的。技术如安在安全可控的条件下良性发展、造福人类，AI 理想如何不受制于商业长处，将是Anthropic 创始团队和新加入的 Leike 的重要课题。
AI 安全首当其冲，超级对齐前路漫漫
安全、监管，显然已成为 AI 行业的热点议题和首要批驳点。
超级智能的机器可以替代人类实行一些复杂的职业任务，进步效率，优化决议。然而，正如所有强大的工具一样，AI 也引发了一系列担心，此中最引人注目标大概就是关于它们是否会引发所谓的“技术奇点”——即AI超越人类智能，大概带来不可推测的结果，甚至是劫难性的全球风险。
在追求技术突破的同时，我们如何确保这些智能体系不仅遵照我们的价值观，还能促进社会整体的福祉？这就是超级对齐的用武之地，旨在引导 AI 的发展方向，确保技术进步能够在安全和伦理的框架内推进，从而避免潜在的负面影响。
而就在上周末，马斯克与 AI 范畴先驱杨立昆就 AI 的安全监管问题在社交媒体 X 上发生了争吵，袒露了在人工智能风险上的关键分歧大概会导致科技界分裂。
两人大相径庭的态度凸显了业界对 AI 未来发展监管路径的深刻分歧：
杨立昆表示，现在担心 AI 带来“生存风险”并急于监管还为时尚早。他以为，人工智能的安全性在于人类的筹划与控制，并以涡轮喷气发动机为例，指出在确保高度可靠性后才广泛摆设，AI 亦应遵照类似路径。杨立昆重申了他的“开放而非监管”态度，倡导开源和共享以促进技术的透明度与安全性。
而马斯克则以他特有的幽默风格回应：“Prepare to be regulated”（准备担当监管），暗示监管的须要性。作为一位积极的监管支持者，马斯克虽然对 AI 失控持有深切担心，但他并未放慢创建个人 AI 帝国的步伐。他强调，尽管监管“并不风趣”，但在 AI 大概“掌控统统”之前创建规则至关重要。随后，这场骂战逐渐上升到人身攻击的层次，火药味颇重。
