昊梵体育网

Jacob Coxon 宣布从 Anthropic 辞职。过去三年,他先后在 OpenAI 和 Anthropic 做预训练研究。他没有留到Anthropic之后的IPO,将带来巨大的经济回报,而是选择离开并公开了自己的立场。 他的辞职声明,引爆了各方的讨论和重视。全文如下: 我今天从Anthropic辞职了。过去三年,我先后在OpenAI和Anth ​

Jacob Coxon 宣布从 Anthropic 辞职。过去三年,他先后在 OpenAI 和 Anthropic 做预训练研究。他没有留到Anthropic之后的IPO,将带来巨大的经济回报,而是选择离开并公开了自己的立场。他的辞职声明,引爆了各方的讨论和重视。全文如下:

我今天从Anthropic辞职了。过去三年,我先后在OpenAI和Anthropic从事预训练研究。两家公司都没有负起责任。它们正径直冲向能自我进化的超级智能,拿我们的生命在赌博。不要低估这项技术的力量。这些很快将成为超人类系统,能入侵任何东西,一夜之间革新任何领域,并获取真正的权力和资源。我们都目睹了这些领域每一个方向的进步,而且进步并未放缓。构建AI的人们认真相信,这可能在十年内杀死我们所有人。这不是营销噱头。如果说有什么不同的话,很多高管和资深研究员在媒体上的措辞会听起来比较理性——但我在私下里听到的是同一些人表达的恐惧。没有任何其他人类活动构成这种级别的危险。

一个常见的回应是:"如果他们真的这么认为,为什么还在继续建造?"在OpenAI,许多人并未深刻内化这场文明级赌注的分量。在Anthropic,大家很清楚其中的利害关系,但他们被困在了一场争先到达的竞赛中——他们认为没有其他人会负起责任,所以尽管有风险,他们必须自己来做。接受这场竞赛并进入"终局",是一种狂妄的赌博,不应当从一家私人公司的Slack里发起。试图加速完成对齐,需要极其确信没有更好的路径可走。

我对协调的可能性持乐观态度。像Hugging Face攻击这样的警告信号,已经让美国实验室之间的步伐协议更可行。我不觉得我们正走在防止全球竞赛的轨道上,这可能需要代价高昂的行动,比如暂时禁止提升模型能力。

如果你是实验室的研究员,我恳请你认真思考未来几年实际会是什么感觉。你想在缺乏对心智的严格理解的情况下,启动一次超级智能的强化学习运行吗?你是要因为"反正都会发生"而埋头苦干——还是趁此刻提出不同的条件?