泉源 | 新智元
就在刚刚，OpenAI再次痛失一员大将。
安全研究副总裁Lilian Weng正式官宣离职。
她发出离职长信，回顾了2017年时，自己对OpenAI的使命是多么着迷。
在GPT-4发布后，她又被赋予了一个全新使命：重新思考OpenAI安全系统的愿景。
o1-preview，就是她们团队的最新结果。
如今，在OpenAI工作七年后，她感觉「是时间重新出发了」。
恒久以来，Lilian Weng的博客篇篇都是精品，每每发出，都会引得圈内人士的大讨论。
OpenAI的前同事们，纷纷为她奉上了祝福。
Jason Wei表现，感谢她做出的贡献，让o1-preview成为迄今为止最安全的模子。
OpenAI推理研究员、o1共同作者 Noam Brown祝福她，在下一个冒险中一切顺利。
OpenAI微调研究员Steven Heidel表现，等待她的下一篇博客文章。
前OpenAI首位开发者关系团队成员、现任谷歌高级产物经理Logan Kilpatrick则感谢她为推动安全使命所做的一切。
而Lilian Weng这次突然离职，或许也是长时间深思熟虑的结果。
比如维基媒体基金会机器学习总监在几天前的一条推文，好像就暗示着她可能要离开。
离职信全文：我有时间写博客了
酷爱的朋友们，我做出了一个极其艰难的决定，那就是离开OpenAI。11月15日将是我在办公室的最后一天。
OpenAI是我作为科学家和领导者成长的地方，我将永远珍惜与每一位共事过和结识的同事在一起的韶光。OpenAI团队一直是我的知己、良师益友，也是我个人身份的紧张组成部分。
我依然清楚地记得2017年时，我对OpenAI的使命是多么着迷。其时，我们这群人梦想着一个看似不可能、宛如科幻的未来。
开始，我在这里研究的是全栈机器人挑战——从深度强化学习算法，到感知，再到固件——目的是教会单只机械手怎样解开魔方。整个团队花了整整两年时间，但我们终极乐成了。
当OpenAI进入GPT范式，我们开始探索怎样将最佳AI模子部署到现实世界时，我建立了第一个「应用研究团队」（Applied Research team）。团队推出了微调API、嵌入API和考核端点的初始版本，为应用安全工作奠定了底子，并为许多早期API客户提供了创新解决方案。
在GPT-4发布后，我被赋予了一项新的使命：重新思考OpenAI安全系统的愿景，并将工作会集在一个掌控完整安全堆栈的团队之下。这是我做过的最困难、最有压力，同时也是最令人兴奋的事变之一。
如今，安全系统团队拥有80多名精彩的科学家、工程师、产物经理和政策专家，我为我们团队取得的一切感到无比自大。我们共同成为每次重大发布的基石——从GPT-4及其视觉和turbo版本，到GPT商店、语音功能和01。
在训练这些模子既强盛又负责任方面的工作上，我们树立了新的行业标准。我特别为我们最新的结果——o1-preview模子感到自大，它是我们迄今为止最安全的模子，在保持其实用性的同时，表现出对「越狱」攻击的卓越抵抗力。
我们取得的乐成，非常令人瞩目：
- 我们训练模子怎样处理敏感或不安全的请求，包罗何时拒绝或接受，通过遵循一套明白界说的模子安全举动政策，在安全性和实用性之间取得了良好的平衡。
- 我们在每次模子发布中都进步了对抗性鲁棒性，包罗防御越狱、指令层级，并通过推理能力大大进步了模子的鲁棒性。
- 我们计划了严格而创新的评估方法，与准备框架保持一致，并为每个前沿模子举行了全面的安全测试和红队测试。我们对透明度的承诺体现在我们具体的模子系统卡中。
- 我们开发了业界领先的具有多模态能力的考核模子，并免费与公众分享。我们目前在更通用的监控框架和增强的安全推理能力方面的工作将为更多安全工作流程提供支持。
- 我们为安全数据日志记录、指标、仪表板、自动学习管道、分类器部署、推理时过滤和新型快速相应系统奠定了工程底子。
回顾我们取得的结果，我为安全系统团队的每个成员感到无比自大，我坚信团队将继续发达发展。我由衷地感谢你们，你们是最棒的！
现在，在OpenAI工作了七年之后，我感觉是时间重新出发，探索新的范畴了。OpenAI正处于火箭般的轨道上，我衷心祝愿这里的每个人一切顺利。
PS：我的博客仍然活泼，并将继续更新。我可能很快就有更多时间来更频繁地更新博客，或许还能抽出更多时间来编码。
OpenAI再失一位首席安全研究员
近几个月OpenAI俨然有了一种AI界「黄埔军校」的味道。
首席技术官Mira Murati、首席研究官Bob McGrew、研究副总裁Barret Zoph、著名研究员Andrej Karpathy和联合创始人John Schulman纷纷离职。
其中一些人，包罗Leike和Schulman，离职后加入了OpenAI的竞争对手Anthropic，而其他人则去创办了自己的企业。
随着Ilya Sutskever和Jan Leike的离开，以及超级对齐团队的遣散。在Sam Altman眼中，OpenAI的安全团队好像越来越不紧张了。
现在，尽管AI安全团队规模可观（据称有超过80名相关的研究人员），但网友们反正是不信任OpenAI还会专心搞模子安全了……
10月，资深政策研究员Miles Brundage离开了OpenAI，并宣布公司正在遣散他曾继续顾问的通用人工智能准备团队。
同一天，前OpenAI研究员Suchir Balaji也在专访中透露，表现离开OpenAI是因为他以为该公司的技术对社会带来的危害大于益处。
目前，OpenAI的公司高管和安全研究人员正在举行交代，以接替Weng的职位。
而其发言人表现，「我们信任安全系统团队将继续在确保系统安全可靠方面发挥关键作用，为全球数亿用户提供服务。」
Lilian Weng：北大本科，高被引学者
Lilian Weng曾是OpenAI安全系统负责人，主要从事机器学习、深度学习等研究 。
Weng本科结业于北京大学信息系统与盘算机科学专业，曾前去香港大学举行短期交流，之后在印第安纳大学布鲁明顿（Indiana University Bloomington）分校得到博士学位。
博士期间，Weng的研究范畴为复杂系统和网络，关注社交媒体、社交游戏、人机交互和复杂信息网络建模。
打开她的谷歌学术档案，还可以看到Weng曾经发表的关于模因和社交网络的论文。
她曾在eBay、Mozilla等公司做过用户分析方面的实习，之后「转行」乐成，进入Facebook和Dropbox从事软件工程和数据科学方面的工作。
2018年起，Weng加入OpenAI继续研究科学家，作为机器人团队的技术主管，专注于训练机器人任务的算法。
2021年，Weng负责领导应用人工智能的研究团队，并在2023年成为了安全团队的负责人。
本年8月，OpenAI将之前的安全团队负责人Aleksander Madry调任至一个专注于推理底子工作的团队。而原来Madry领导的安全团队转由Lilian Weng负责。
随后，Weng将同时管理专注于恒久和短期AI安全的团队，这一构造决议令一些研究人员担心，因为恒久和短期安全的鼓励步伐可能会相互冲突。
值得一提的是，Weng在个人网站上撰写的博客文章非常受欢迎，基本都是万字长文，既有技术干货又有观点输出，是许多业内人士的参考。
接下来，让我们等待这位北大校友的更多结果，以及即将出现的干货博文吧。
参考资料：
https://x.com/lilianweng/status/1855031273690984623
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
