近期一位本地AI开发者在X上分享惊人实测：在256GB内存的M3 Ultra Mac Studio上，使用自研实验内核，Qwen 3.8 Next Flash 4bit模型散文任务超过150 TPS，代码生成更是飙到230 TPS，较之前约110 TPS大幅提升。视频演示中，AI代理正高速规划并构建CVE监控工具，推理过程流畅如丝。
这套方案基于TensorFold框架，模型权重为Hugging Face上的TensorFold/Qwen3.8-Flash-Next-MLX-4bit-MTP，约113GB，采用4-bit均匀量化并完整保留原生MTP（多token预测）draft模块，实现高效投机解码。实验内核尚未公开，作者明确表示目前没有已发布构建能复现这些数字。公开版TensorFold已支持该模型，可通过一键脚本安装，但速度通常在几十到百余TPS，取决于上下文长度与MTP深度。
公开版本支持多路并发，适合团队或代理场景。对于想本地部署的用户，建议先下载MTP权重，在256GB机器上测试公开引擎，或关注作者后续更新。这一进展标志着Apple Silicon统一内存与优化内核的组合，正把大型MoE模型推到实用速度，本地开发与隐私AI迎来新可能。