10 月 19 日凌晨两点多,Arena 在 X 上发了一条。Code Arena 前端榜上,DeepSeek 在 10 月 17 日更新的版本排到了开源模型第一,这个榜到今天,它是 1673 分,第 14。
开源这边也换人了,原来坐在头名的是 Kimi K3,现在退到后面。Arena 在那条帖里补了一句,这个第一是拿十分之一的成本换来的,比上一版高 52 分,两个版本只隔了一个多月。
图1、Arena 官宣帖,开源第一
隔一天 Arena 又为这个版本发了一条,Agent Arena 上照样开源第一,总榜第 12 位。
这两条帖在国内转了一整天,但同一周还有一句话比分数更值得看,它不在榜单上,在 DeepSeek 自己的更新文档里。
这两个榜在比什么Arena 靠真人对战投票排座次,后来拆出代码榜和智能体榜。前端榜看能不能把一句话变成跑得起来的网页,Agent 榜看真人交活,最后真人判干成没干成。
前端榜上,它上面十三行,厂商那一栏全写着 Proprietary,它是整张表里第一个开源许可的模型,许可证是 MIT。
图2、前端榜实时页面,DeepSeek 在第 14 行
Agent 榜的算法不一样,不给绝对分,算的是比一个平均水平模型好多少。这个版本比它高出 4.73%,样本是一万七千九百多场真实用户会话。
四项分指标拆开看,幅度差得挺开。任务确认成功 10.30%,好评对抱怨 4.81%,可引导性 3.09%,Bash 可靠性 5.23%。
这四个数和 4.73% 是一把尺子量出来的,都相对那个平均模型,不是绝对分数。
这个榜也有短板。出题和判分都在 Arena 一家手里,新模型刚进来样本还在攒,分数会晃。所以这个数看方向比看绝对值靠谱。
跑完一个任务的中位成本 0.20 美元,只有 GPT-6.1 Sol 的四分之一。代价是提升幅度也低,4.73% 对 13.55%,三分之一多一点。可花同样的钱换提升,DeepSeek 反而更多。
文档里那三个名字10 月 17 日下午四点半,官方账号连发四条。其中一条里有一行字,说这个版本针对自家的 Harness,还有腾讯的 CodeBuddy 和 WorkBuddy 等环境做过优化。
图3、DeepSeek 官方帖,点名三个平台框架
三个名字排在一起。前两个是给开发者用的编程工具,第三个不是。
WorkBuddy 是桌面客户端,一句需求丢进去,它自己拆步骤读文件,把结果交出来。用它的人不需要知道什么是 Harness。
中文文档比英文多一层前提。它先说这个版本在多个 Harness 下都做到新的性能与费用帕累托最优,然后才说特别针对这三个平台框架做过优化。
同一段末尾还催了一句,请升级到 DeepSeek Harness 0.2.1-rc.1 及以上版本。模型更新却催人去升级客户端,这个动作本身就在说明问题。
图4、官方更新文档里那一段
这也不是临时起意。9 月 10 日第一版发的时候,官方页面上就写着,腾讯(WorkBuddy 和 CodeBuddy)和 OpenCode 作为官方合作伙伴已全量接入。一个多月两次发版,9 月写合作伙伴,10 月写定向优化。
成绩单最下面那行小字官方给的是一张十一行的表,十一项全比上一版高。终端操作从 31.2 到 42.3,涨了三成半。软件工程 74.2 到 77.0,程序合成 20.3 到 29.1。
图5、官方基准表,11 项全部上涨
但横过来跟右边几列比就没那么齐整。十一项里只在四项上压过 Claude Opus 5,DeepSWE,自动化,Agents 的结业考,还有 Apex。纯推理 42.6 对 56.3,终端操作 42.3 对 51.8,两项都还输着。
表最下面有一行小字,滑得快就漏了。上面写着,Terminal-Bench 4.0 用的是 Claude Code 框架,DeepSWE 用的是 Mini-SWE-V2 框架。
42.3 和 77.0 这两个数,不是裸模型跑出来的,是模型套在别人家的壳里跑出来的。
而官方在文档里着重强调的,恰恰是它给这三个壳做过定向优化。这两句话摆在一起,整件事一下就通了,逻辑也顺了。
模型负责想,壳负责把手脚接上。读文件,开终端,调工具,处理报错,上下文太长时自动压缩,这些活全都归壳。
同一个模型换个壳,完成率和成本都会变。壳里跑的是真实任务,那批数据模型厂自己拿不到,这才是各家按壳调优的原因。
费用那一面官方还画了一张散点图,横轴是钱,对数刻度,纵轴是 DeepSWE 的通过率。新版那串点里最高的一颗落在左上角,77% 通过率,每个任务 1.3 元上下。
图6、通过率与每任务费用的散点图
往右,GPT-6.1 Sol 和 GPT-6 Astra 挤在 10 到 50 元,通过率七成上下。再往右是 Claude 两款旗舰,50 元起步,最高那个点刚过七成。
自家上一代旗舰 V4 Pro 落在 6 元附近,通过率六成三。比新版贵四倍多,还低 14 个点。
这就是帕累托前沿的意思,这个坐标系里找不到第二个点,既比它高又比它便宜。
跑分之外,还得有人上手。
做游戏特效的 @op7418 拿一套原本写给 Opus 5.5 的提示词,原样喂给这个新版。他自己的结论是,能用,但细节和创造性上比 Opus 5.5 差不少。
图7、开发者用旧提示词实测新版
这句评价跟榜单不冲突。Arena 比的是干没干成,不是好不好看。能跑起来和做得漂亮,中间隔着的正是壳和提示词。
WorkBuddy 的量,第三方有统计。9 月它的桌面端月访问量 8534 万次,二十款主流产品排第一,比第二名的千问办公和第三名的豆包工作加起来还多出不少。
向 WorkBuddy 团队求证过,这次更新之前有没有跟 DeepSeek 沟通过。对方给出的回答只有四个字,不予回应。
另一头,一位用 DeepSeek Harness 的用户把账单摊开了。对比 10 月 14 日和 10 月 20 日,请求次数多了一成三,Token 消耗涨近三倍,花的钱反而少了。省下来的钱在账单上写得清楚,缓存命中率上去了,输出变短了,壳没换,价位也没换。
模型越来越像跟壳捆在一起卖的东西。分数从哪来,体验差在哪,答案都在那几个被点名的名字里。以后再看到某个模型拿了第一,先问一句,这个第一是在谁的壳里考的。