961.6 tokens/s，这是 EAGLE-4 在 Qwen3.8-27B 上单请求跑出来的，4 张 B300、TP4、BF16、T=0。同条件不做投机解码是 240.5。

EAGLE 系列做的是投机解码，小模型先猜几个 token，大模型一次验完。

往下翻，我停在了 512 并发那组。EAGLE-4 聚合 28,340 tokens/s，vanilla 21,203，只剩 1.34 倍。DFlash 2 和 DSpark 是 16,641 和 14,229，比不做投机还慢。我猜是批量一大 GPU 本来就忙，猜错的验证全成了白算。他们的 EAGLE-Harness 会在预热时测开销再调树的深度宽度，像是专门治这个的。

线上服务多半是高并发，1.34 这个数对我比 961.6 有用。

#大模型 #人工智能 #AI