大模型后训练前，怎么判断哪个基座更值得训
工具循环零分，未必代表基座没有修复潜力
NVIDIA研究在编程agent后训练之前怎样筛选基座。六个基座的冷启动SWE-bench Verified评测中，五个pass@1为零，只有Qwen-3.5-35B-A3B-Base达到20.2%，却不是后训练后最强的模型。方法回放较强模型的成功轨迹，用任务测试找到累计补丁首次从失败变成通过的决定性步骤，再给候选基座提供此前的轨迹和仓库状态，测它是否支持该修复动作。
DeepSWE负BPB与后训练排名的秩相关为0.964
每字节比特数（BPB）用字节长度归一化已验证动作的负对数概率，衡量预测这段内容的难度，越低越好。十对公开基座与后训练模型上，屏蔽工具格式计分的负BPB与后训练SWE-bench Verified pass@1的Spearman秩相关为0.964，Pearson相关为0.965。只评决定性动作优于全步骤平均的0.915。格式仍对模型可见，屏蔽只改变计分区域；这些数字衡量排序一致性，不是后训练成功概率。
辨别补丁与生成修复，提供另外两种检验
补丁选择题让基座在同一前缀下区分已验证动作和测试拒绝的候选，DeepSWE来源的秩相关为0.867。前缀条件pass@K恢复决定性步骤之前的环境，从该点采样K次，每次最多生成三步，测试接受任何有效续写；120个DeepSWE实例上K=32的秩相关为0.951。它依赖接口桥接和执行框架，不能当作纯模型能力。三种探针比较相同十个模型，具体题目子集不同。
同SFT仅三个基座，换任务后排名信号会变
统一语料、训练和评测的监督微调（SFT）对照仅有三个基座，SWE-Pro来源的三种探针给出与微调后成绩相同的排序，但部分探针换来源后会减弱。对Terminal-Bench 2.1，负BPB秩相关降至0.833，前缀条件pass@32为0.930。主结果混合了各实验室的后训练配方，十模型相关性没有置信区间。探针可辅助筛选候选，仍需成功轨迹、验证器和目标任务实测，不能保证新基座在任意后训练配方下的成绩。
原文标题：Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models
无影寺 howto入门codex 话2题test howto入门vibecoding 具身智能