以前总觉得本地跑大模型是“能跑就行”，速度嘛，能用就行。结果David Dalcu的mlx-serve把这件事直接干到离谱。他发了段视频，一台Mac上单一MLX-Serve实例，同时跑6个GPU代理加2个ANE代理，全是标准MLX，支持M1到M5，目前主打Qwen密集架构，仓库星标已经快破2000。

真正让人愣住的是性能数字。Prefill在M5 Ultra 80核上，作者自己报的是5500到6000 tok/s，社区独立测试也经常看到4000以上。Decode这边，Qwen3.6 35B带MTP能到400多tok/s，Qwen3.8 27B配DFlash也有240到250，Flash-Next系列稳定在150以上。M4 Max上同样模型也能做到七八十到一百出头，而且版本迭代还在持续往上加。

更关键的是它不只是单流快。多代理并行时，GPU和ANE都能一起上，批处理和推测解码（MTP、DFlash、PLD）把代码和agent场景的吞吐再拉一截。跟LM Studio、oMLX、MTPLX比，同权重下decode普遍快25%左右，prefill优势更明显。对写代码、跑多轮工具调用的人来说，这已经不是“勉强能用”，而是真的能当主力本地引擎。

当然，现在还主要是Qwen密集架构，ANE预填充在M5上默认关掉（GPU自己已经够快），但整个方向很清楚：把Mac的GPU和神经引擎都吃干榨净，让本地多代理真的能日常跑起来。GitHub上搜mlx-serve就能直接试，感兴趣的可以拉下来自己跑跑看数字。本地AI这次，是真的有点东西。