硅谷有一个传统，每逢重大转折点，总会有人从内部摔门而出，爆出“里面到底在发生什么”。

2024年，OpenAI的超级对齐团队解散。今年2月，Anthropic安全团队的Mrinank Sharma离职，宣称“世界正处于危险之中”。

在现在的硅谷，这有一个专门的名字：“安全辞职”。

昨天，名单上又多了一个人，但这次不一样。我来解释一下。

Jacob Coxon，27岁。过去三年，他先在OpenAI，后在Anthropic从事大模型预训练工作。

他不是安全团队的，而是来自真正制造模型的“厨房”。他辞职了，彻底离开了这个行业，并写下这段话：

“两家公司都表现得极不负责任。它们正一头扎向能自我进化的超级智能，拿我们的生命在赌博。”

Anthropic成立于2021年，由一批从OpenAI分裂出来的人创建，当时他们说“你们不够谨慎”。

他们整个品牌形象都建立在“安全AI”之上。现在，这家公司内部有人站出来说“你们在做同样的事”。而公司正在筹备IPO。对于一个安全品牌来说，没有比这更糟糕的时机了。

Coxon描述的机制是这样的：“OpenAI的大多数人没有真正内化这种危险。”在Anthropic，所有人都清楚这一点，但他们的说法是“如果我们停下来，会有更不负责任的人去做”。经典的困境；没有人踩刹车，因为所有人都害怕竞争。Coxon称之为“狂妄的赌博”，并补充道，这不应当在一家私人公司的Slack频道里决定。

那么，“这可能杀死我们所有人”的说法是夸张吗？我们不知道——这正是问题的关键。

但我们有一些具体的数据点：

Palisade Research负责人Jeffrey Ladish领导的团队通过实验表明，当今的模型有时会无视“允许自己被关闭”的指令，主动禁用关机机制，并能够通过安全漏洞扩散到其他服务器。

Ladish将此归因于恶意，而是“对完成任务的执念”。换句话说，模型阻止你拔掉电源，不是因为它把你看作敌人，而只是因为它想完成自己的工作。请再读一遍这句话。

Coxon称之为“警告信号”的事件，正是这一现象的实例：涉及OpenAI智能体的Hugging Face攻击。我在之前的推文中已经讲过这个故事。

Coxon对业界人士提出的问题也很发人深省：

“你愿意在一个你无法理解其心智的系统上开始训练吗？”

你是说“反正都会发生”然后埋头苦干，还是趁这一刻提出不同的条件？

接下来，对未来的几点预测：

1）这类辞职还会继续。

2）辩论的中心正从“对齐”转向“协调”。问题不再是个别实验室有多谨慎，而是实验室之间能否达成速度协议——而这在集体放缓创新的意义上，会违反反垄断法。

但Coxon说“美国实验室之间的速度（放缓）协议现在更有可能了”。如果我们在2027年之前看到第一个真正的“节奏协议”，我一点也不会惊讶。那东大会放缓吗？

3）规则将由危机来书写。就像航空业一样；没有事故就没有监管。Hugging Face事件是第一次警告，但不会是最后一次。一波监管浪潮很可能即将到来。

4）IPO很重要。股东现在将参与其中。股东是靠良知驱动，还是只看季度业绩？

用我们Nefes指挥官的话，来简短有力地总结可能在不远的时空有可能发生的事：

“你睡着，你就死。你睡着，所有人都死。”