27岁研究员连辞OpenAI、Anthropic！两家都在拿我们的命下注
GPT-4o核心贡献者Jacob Coxon接连离开OpenAI与Anthropic，直指单家公司无法在竞速中独自解决超级智能安全问题。
「我今天从Anthropic辞职了！」
9日凌晨，一条推文在X上炸开。
过去三年，我在OpenAI和Anthropic做预训练研究。两家公司都没有负责任地行事。它们正直奔自我改进的超级智能，拿我们所有人的命下注。
发帖人Jacob Coxon，是GPT-4o的核心贡献者。
今年年初，他因为Anthropic的安全声誉从OpenAI跳槽过去。几个月后，他不只是离开Anthropic，而是连整个AI行业一起退出。
我们正走在很多最激进情景的轨道上，到明年底，情况可能已经失控。
在帖子中，他还将这种AI竞赛及其终局称作「一场傲慢的赌博」，认为这种赌博「不该从一家私人公司的Slack里发动」。
是什么让他决定离开这两家顶尖实验室？他到底看到了什么？
Coxon之前在OpenAI做的是预训练。
他的名字，出现在OpenAI 2024年8月发布的GPT-4o系统卡核心贡献者一栏里。
今年早些时候，他离开OpenAI，加入Anthropic，就是奔着Anthropic那套安全文化去的。
Anthropic以模型安全著称，负责任扩展政策、可解释性研究、红队测试，业内公认做得最认真。
但不到一年，他就接连离开两家AI实验室。
不是因为Anthropic在安全上敷衍。他认为Anthropic的安全努力是真诚的。
他是这样看待这两家公司对安全的认知的。
在OpenAI，很多人没有真正内化文明级的风险。在Anthropic，风险被充分理解，但他们被锁死在一场必须第一个到达的竞赛里。
一家意识不到，另一家意识到了但停不下来。
Anthropic并非不安全。在这场AI竞赛里，没有任何一家公司能单独做到安全。
这才是他真正退出的原因。
只要竞赛还在，安全和速度之间的取舍就躲不开。
他的结论是，在没有政府介入或行业协调减速的情况下，没有任何一家公司能负责任地开发出在广泛任务上超越人类的AI。
这是他对「最激进的一类情景」的判断，还画出了清晰的时间线。
- 模型开始参与训练自己的下一代。
- 改进速度越过人类监督能跟上的范围。
- 系统的能力足以让它拒绝指令。
Coxon爆料，「冲刺期」和「终局」是业内同行形容眼下这个阶段最常用的两个词。
造AI的人真诚地相信，它可能在这个十年结束前杀死我们所有人。这不是营销噱头。
他在推特上直言。
Coxon披露了一个业内的真相。很多高管和资深研究员面对媒体时会把措辞包装得听起来理性，但私下里，他听到的是同一批人在表达恐惧。
这些系统很快会变成超人级的，能黑进任何东西，一夜之间改写任何领域，并且获取真实的权力和资源。
这种担忧，是有这几个月已经发生的真实事件做支撑的。
OpenAI和Anthropic的模型都出过黑客事件，有些是以智能体集群的形式协作行动。这些事件展示了一件事，AI系统可以自己形成有害目标，并且试图对人类隐瞒。
Coxon的推论是，现在还是在受控环境里出事。等系统开始自我改进，出事的形式会变。
他真正反对的，是试图用竞速的方式解决对齐。
Anthropic内部有一个Slack频道，专门讨论自家模型有多强。
Coxon对此不以为然。
这种事本该发生在沙漠里的掩体中，像曼哈顿计划那样。现在却发生在旧金山几个工程师的MacBook上，这有点疯狂。
Coxon辞职的两天前，9月6日，OpenAI首席科学家Jakub Pachocki发了一篇长文，标题叫《异类心智》（An Alien Mind），核心就是一句话。
目前，没有任何实验室把对齐和监控解决到足以在更长时间内负责任地全速扩展的程度。
Pachocki是OpenAI推理模型路线的奠基人之一，也是这家公司技术方向的最终拍板者。
他从技术角度给出自己的理由，OpenAI押注的思维链监控，可靠性正在下降。
推理过程越来越多地和工具调用、与人和其他AI的沟通混在一起；模型越来越擅长操纵自己的推理过程；而且预训练越强，模型不靠显式推理也越聪明。
看到模型在想什么的那扇窗户，正在变模糊。
他的路线不是停下来，而是双轨。一边用更强的AI去做对齐和防御研究，一边在安全信心不足时自愿减速，把Preparedness Framework、负责任扩展政策这类公司内部承诺，升级为由第三方审计、政府机构或国际组织执行的统一安全门槛。
再往前推两个月。
7月，一份叫《Pacing the Frontier》的联署声明发布，签名者是1386名前沿AI公司员工。
Anthropic的CEO Dario Amodei、OpenAI的首席科学家Jakub Pachocki、DeepMind的联合创始人Shane Legg，还有Ilya Sutskever，几乎所有头部实验室的核心人物都在。
Coxon也名列其中。
这份声明请美国政府支持一个国际机制，提前准备好「有意识地给自动化AI研发配速」的技术和治理工具。
它没有要求现在停训，而是要求万一自我改进突然加速，世界得有能力踩刹车。
他在推文里，把话直接说给了还留在实验室里的那些签名者。
如果你是实验室里的研究员，我劝你认真想一想，接下来几年到底会是什么感觉。你想在没有严格理解它的心智之前，就启动一次超级智能的强化学习训练吗？你是打算低头干活，因为「反正它总会发生」，还是抓住这个时刻，去要求不同的条件？
1386个人签了名，说需要刹车。
Coxon问的是，在刹车造出来之前，你还要不要继续踩油门。
Anthropic首席产品官Ami Vora、总裁Daniela Amodei与CEO Dario Amodei在Code with Claude开发者大会上。Dario多次公开警告失控AI的风险，也签了《Pacing the Frontier》，但公司仍在冲刺史上最大规模的IPO之一。
这也不是Anthropic今年第一次有人这样离开。
2月，Safeguards研究负责人Mrinank Sharma辞职，公开信1000万浏览，一句「世界处于危险之中」刷屏。信里说，在这里「总有压力让你把最要紧的事先放一放」。他的去向是，读一个诗歌学位。
七个月，两个人。一个去写诗，一个退圈。两个人都没有说Anthropic做得不好。
过去几年，讨论AI安全的默认问法是，哪家公司更负责任？
Anthropic正是靠这个问题起家，靠它吸引来Coxon这样的安全人才，赢得企业客户，拿到2万亿美元的估值预期。
但今年从这里走出去的两个人，把AI安全的问题推到了一个新阶段。不再是哪家公司刹车踩得最好，而是整个行业能不能一起踩这个刹车。
这个问题的答案，不会在任何一家公司的Slack频道里。