前高管怒斥！OpenAI解散Ilya团队，宫斗第二季

奥特曼的激进策略，现在不受控制了？

没有想到，OpenAI 在本周发布 GPT-4o，技术再次大幅度领先之后，随之迎来的却是一系列坏消息。

本周，OpenAI 联合创始人、首席科学家 Ilya Sutskever 官宣离职，与 Ilya 同步宣布离开的，还有超级对齐团队的共同领导者 Jan Leike。

另据《连线》等媒体报道，随着最近两位高管离职，OpenAI 的超级对齐团队已被解散。

本周五，Jan Leike 在 X 发布了一系列帖子，怒斥 OpenAI 及其领导层忽视“安全”而偏爱“光鲜亮丽的产品”。

发生了什么事？

实际上，自去年 11 月那场“董事会风波”以来，社交媒体上一直流传着一个梗 ——Ilya 看到了什么。人们猜测：“OpenAI 秘密地取得了巨大的技术突破，而 Ilya 之所以离开，是因为他看到了一些可怕的事情，比如可能毁灭人类的人工智能系统。”

当然，这只是一种粗暴的猜测。OpenAI 频繁失去安全团队成员可能与奥特曼的领导有很大关系。据消息人士透露，注重 AI 系统安全的员工已经对奥特曼的领导失去了信心。

据外媒 Vox 报道，一位不愿透露姓名的公司内部人士表示：“这是一个信任一点一点崩溃的过程，就像多米诺骨牌一张一张倒下一样。”

很少有员工愿意公开谈论此事。部分原因是 OpenAI 让员工在离职时签署带有非贬低条款的离职协议。如果你拒绝签署，你就放弃了你在该公司的股权，这意味着你可能会损失数百万美元。

然而，总有例外。OpenAI 前员工 Daniel Kokotajlo 拒绝签署离职协议，以便他可以自由地批评该公司。Daniel Kokotajlo 于 2022 年加入 OpenAI，主要负责安全部署人工智能系统，并曾在治理团队工作，直到上个月辞职。

据 Vox 报道，Daniel Kokotajlo 称：“OpenAI 正在训练更加强大的人工智能系统，最终目标是全面超越人类智能。这可能是人类有史以来最好的事情，但也可能是最糟糕的事情。”

OpenAI 一直将构建通用人工智能 (AGI) 系统作为目标。“我加入时满怀期待地希望 OpenAI 在越来越接近 AGI 时表现得更加负责任，但我们中的许多人慢慢意识到 OpenAI 没有这样做，我逐渐对 OpenAI 领导层以及他们负责任地处理 AGI 的能力失去了信任，所以我辞职了，”Daniel Kokotajlo 说道。

周五，Leike 在 X 的一条帖子中解释了他辞去超级对齐团队联合领导职务的原因，并描绘了一幅非常相似的画面。他写道：“相当长一段时间以来，我一直与 OpenAI 领导层关于公司核心优先事项的观点存在分歧，直到我们最终达到了临界点。”

虽然 OpenAI 的技术仍在不断发展，但 Ilya Sutskever 等重量级科学家的流失让人不得不担心它的前途。

为什么奥特曼“不值得信任”

此次紧随 GPT-4o 发布的新一轮动荡，其源头还要追溯到去年的“宫斗”。

在去年 11 月那场董事会风波中，Ilya Sutskever 曾与 OpenAI 原董事会合作试图解雇奥特曼。OpenAI 在公告中称奥特曼对董事会不够坦诚。

当时有人将其解读为：OpenAI 可能已经在内部实现了 AGI，但并没有将消息及时同步给更多人员，为了防止该技术未经安全评估就被大规模应用，Ilya 等人按下了紧急停止键。

不过仅仅一个周末的时间，奥特曼就重返 OpenAI 董事会，并且之前罢免他的董事被纷纷解雇，董事会宣布重组，新任董事会主席 Bret Taylor 表示：“我们一致认为 Sam 和 Greg 是 OpenAI 的合适领导者。”

一场风波之后，奥特曼似乎可以更自由地管理 OpenAI 了，而 Ilya Sutskever 陷入了尴尬。

与之相对的是几个月来，Ilya Sutskever 的动态甚少。据知情人士透露：“Sutskever 已经大约有六个月没有在 OpenAI 的办公室出现了，他一直远程领导超级对齐团队”，直到本周 Ilya 正式宣布离职。

两分钟后，奥特曼就发帖称：“这对我来说非常难过；Ilya 是我亲密的朋友......”

准时官宣离职，迅速回应，这微妙的时间安排似乎说明了一切......

值得注意的是，Ilya 宣布离职时，他表示自己将去追求“一个对我个人而言非常有意义的项目”。也就是说，注重 AI 安全的 Ilya 选择离开 OpenAI 来完成自己的项目。

反观奥特曼，一些 OpenAI 员工认为奥特曼虽然声称要优先考虑 AI 安全，但有些行为却自相矛盾。例如，奥特曼似乎急于积累尽可能多的芯片，加速技术的发展，而忽视安全方面的进展。

此外，Ilya Sutskever 的盟友、超级对齐团队成员 Leopold Aschenbrenner 上个月刚刚被 OpenAI 解雇。外媒报道称他和同团队另一位研究员 Pavel Izmailov 因被指控泄露信息而被解雇。但 OpenAI 却没有提供任何泄露信息的证据。

Aschenbrenner 和 Izmailov 被迫离职的同一个月，另一位安全研究员 Cullen O'Keefe 也离开了 OpenAI。

两周前，安全研究员 William Saunders 在 EA 论坛上发表了一篇神秘的帖子。Saunders 总结了自己在 OpenAI 作为超级对齐团队一部分的工作。然后他写道：“我于 2024 年 2 月 15 日从 OpenAI 辞职。”

一位评论者提出了显而易见的问题：为什么 Saunders 要发布这个？

“无可奉告”，Saunders 回答道。

这让人回想起，去年奥特曼复职后不久，Ilya 发布了这样一条推特，但随后很快被删除：

IIya 在 X 上发帖：“过去的一个月里，我学到了很多教训，其中一个教训是：『鞭打，直到士气提升』这句话的使用频率远超其应有的程度。”

最后，超级对齐团队的联合领导人 Jan Leike 在 Sutskever 宣布离职后仅几个小时就在 X 上发帖：“我辞职了”，没有温暖的告别，也没有对公司领导层的信任投票。

严格的“封口协议”

其他注重安全的前员工转发了 Leike 直白的辞职推文，并附上了心形表情符号。

评论者认为他们可能是受到了一项“不得诋毁协议”的约束。

X 平台上，一位 OpenAI 前员工爆料，并对公司“强制用协议保证的股权 + 工资激励措施”和“离职协议签署的合法性、合理性”做出了质疑。

入职文件说明中包含一项：“在离开公司的六十天内，你必须签署一份包含『一般豁免』的离职文件。如果你没有在 60 天内完成，你的股权获益将被取消。”

这位爆料者还透露了：入职期间和 OpenAI 的人交谈时，他们都没有太在意这个小细节。

那么，认真对待 AI 安全和社会影响的人在 OpenAI 工作是否是一件好事？这或许是个开放问题。

安全团队土崩瓦解后，谁来确保 OpenAI 的工作是安全的？

随着 Leike 不再担任超级对齐团队的负责人，OpenAI 已经用公司联合创始人 John Schulman 替代了他。

但是该团队很快就被员工证实已不复存在。该小组的工作将被纳入 OpenAI 的其他研究工作中。而且 Schulman 正忙于他现有的全职工作，即：“确保 OpenAI 当前产品的安全。”

“成立超级对齐团队的全部意义在于，如果公司成功构建了 AGI（通用人工智能），那么实际上会出现不同类型的安全问题，”这位内部知情人士告诉记者。“所以，这是对未来的专项投资。”

即使团队在全力运作时，这种“专项投资”也占据了 OpenAI 研究的重要部分，根据规定，公司曾经承诺会使用 20% 的算力来进行安全对齐 —— 这可能是当前 AI 公司最重要的资源。

现在，这些算力可能会被转移到 OpenAI 的其他团队，而且是否会将重点放在避免未来 AI 模型带来的灾难性风险上还不清楚。

需要明确的是，这并不意味着 OpenAI 现在正在发布的产品 —— 比如新版 ChatGPT（由 GPT-4o 加持，可以与用户进行语音的自然对话），会毁灭人类。

但接下来将会发生什么？

“重要的是要区分『他们目前正在构建和部署不安全的 AI 系统吗？』和『他们是否正在安全地构建和部署 AGI 或超级智能？』”这位内部知情人士说。“我认为第二个问题的答案是否定的。”

Leike 在周五的 X 平台帖子中也表达了同样的担忧。

他注意到，他的团队一直在努力争取足够的算力来完成工作，并且总体上一直在“逆风航行”。

Jan Leike 在 X 平台上连发 4 贴，对算力资源获取和在 OpenAI 内部工作表示担忧。

最引人注目的是，Leike 说：“我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让 AI 具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。”

当世界上 AI 安全领域的领军人物之一说世界上领先的 AI 公司没有走在正确的轨道上时，所有人想必都有理由感到担忧。

面对媒体曝光的大量信息，OpenAI CEO 奥特曼立即回复，表示接下来几天会写一篇长文说明这些问题。

但除此以外，更多的情况目前还只能靠猜测。

这一系列新变化可能会对 OpenAI 造成冲击，同时令其投资者感到担忧。我们知道，下周微软的 Build 大会即将召开。

——————

参考内容

1. https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence

2. https://www.wired.com/story/openai-superalignment-team-disbanded/

3. https://venturebeat.com/ai/openais-former-superalignment-leader-blasts-company-safety-culture-and-processes-have-taken-a-backseat/