本地部署大型语言模型的门槛正在快速下降。2026 年 10 月，MiaAI Lab 宣布单台 NVIDIA DGX Spark 已可稳定运行 Qwen3.8-Flash-Next，并使用 NVIDIA 最新的 FP4 QAD（量化感知蒸馏）检查点。该方案基于 TensorFold Zig 引擎，在保持接近全精度质量的同时，实现了实用的长上下文与多用户并发能力，标志着桌面级 AI 超级计算机真正进入“日常可用”阶段。

硬件载体是 NVIDIA DGX Spark。这台桌面级设备搭载 GB10 Grace Blackwell 芯片，拥有 128GB 统一内存与强劲的 FP4 算力。配合 TensorFold（由 Ash Hart 主导、MiaAI Lab 参与的开源推理引擎），系统通过 Zig 编写的 CUDA 内核实现精确推测解码，确保草稿输出与串行解码结果完全一致。

核心突破在于 NVIDIA 的 FP4 QAD 检查点。传统后训练量化（PTQ）在 4-bit 下容易损失精度，而 QAD 则在量化状态下以全精度模型为教师进行蒸馏训练。学生模型在前向过程中模拟低精度计算，同时通过 KL 散度对齐教师的输出分布。结果是，FP4 权重在推理时接近 bf16 表现。Mia 的测试显示，该检查点在 GPQA Diamond 上达到 91.5%（bf16 为 92.2%），ToolEvalBench 为 88.7%（bf16 为 89.4%），几乎完整保留了 512 个路由专家（每 token 激活 10 个）。

实测性能同样亮眼。在单台 DGX Spark 上，默认 FP4 QAD + FP8 KV 缓存配置可支持 256K/262K 上下文与最多 5 个并发用户，总 KV 缓存池约 1.1M tokens。单流散文生成速度为 46–55 tok/s，五路并发时聚合吞吐达到 132.7 tok/s；代码生成单流可达 67.9 tok/s。前缀填充速度稳定在 2000–2300 tok/s 以上。若追求更高速度，可切换至 INT4-AutoRound 检查点（每 token 仅激活 5 个专家），单流速度提升至 64 tok/s 左右，但整体能力约下降 10%。