arc-llm-lab：27B编程模型跑到53tok每秒

自己电脑上跑大模型写代码，最难受的不是装不上，是装上了太慢。一张卡每秒只吐16个token，写个函数你能去泡杯茶。

GitHub 上有个叫 arc-llm-lab 的仓库，专门解决这个问题。它在一张 Intel Arc Pro B60 24GB 上跑 Qwen3.8-27B 的 Q4 量化版，把解码速度从每秒16个token提到了53个。

关键是它没换硬件，改的是三件事。

第一，加一个 DFlash2 草稿模型做投机解码，小模型每轮先猜7个token，大模型一次性验货。实测一次浅上下文代码请求里，877个草稿token收下573个，接受率65%。这一步把 eval 套件吞吐从16拉到42.3，7个编码任务答案全对。

第二，换 Intel 的 flash attention 预填充内核。32K上下文下读提示词的速度从每秒118个token提到420个，3.6倍。但前提是 KV 缓存必须用 f16，作者试过 q4 的 KV，101对101，一点没涨。

第三，抠显存。批次缓冲设256、草稿KV用q8、关掉Windows下会溢出到共享内存的fit，省出0.55GB，上下文从57K提到64K。顺带把重启后重读43K提示词的时间从两分钟压到4.5秒。

踩坑部分比提速更值钱。后台只要还挂着一个闲置的 Ollama 模型，解码速度会从52.7直接掉到22.2，所以跑之前先 ollama ps 看一眼。

口径也要讲清楚：16和42.3不是同一个测法，53是短提示下的单请求均值，真实30到37K对话大概是每秒42个token，而且全是单次运行，只有B60这一张卡是真测的。

价格参考，作者引用的是澳洲市场快照：华擎被动散热OEM版999澳元，对比表里RTX 5090 32GB是5999澳元。

我觉得这个仓库最值得学的不是53这个数字，而是它证明了加速可以来自内核之上：草稿模型、预填充内核、显存精算，三层都不是手写CUDA内核。而且每条数字都挂了原始日志，可以按行号回去查。

AI工具 本地大模型 llamacpp