27B 压到 8GB 以内，工具调用反超原版？Saluki 可能改写本地 Agent 门槛

本地模型圈最近安静地出了个狠货。Underdog 放出 Saluki 27B，把 Qwen3.8-27B 从约 54GB 压到 7.89GB，工具调用还打赢了原版。

这不是随便量化。它基于 ISTA 的 2-bit 工作，再针对工具调用做了优化，做成标准 GGUF，stock llama.cpp 直接能跑，不需要特殊引擎。Apache 2.0 开源，Hugging Face 可下。

官方 Underdog Bench（BFCL 抽的 120 个工具任务）：
• Saluki：88
• 完整版：84
并行工具调用 42 vs 35，指令遵循也略高。整体平均保留约 96% 性能。

代价也清楚：竞赛数学掉到原版 82%–85%，复杂推理和部分编码会弱一些，SWE-bench 上 30/50（完整版 33）。并行调用大约 1/5 有轻微格式问题。
总结就是：工具调用强，数学弱。适合本地 Agent，不适合当数学选手。

Windows、Mac、Linux 都能用。官方说 16GB 内存笔记本可跑，8GB 显存 GPU 全卸载也行。

推荐命令：
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768
--jinja 必须加，否则工具调用和 thinking 模式会出问题。启动后走 8080 端口的 OpenAI 兼容接口。快速调用时关掉 thinking，temperature 设 0。

为什么值得关注

以前本地跑 Agent 经常卡在三件事：模型太小不够用、模型太大跑不动、量化后工具格式崩了。Saluki 专门打第三点，7.89GB 的体量让 27B 级工具能力第一次比较现实地进了普通笔记本。

它不是全面更强，但在“让模型自己选工具、填参数、做本地任务”这个场景里，目前是这个体积里最值得试的一个。本地 Agent 的门槛，又被往下按了一截。