昊梵体育网

不装 Python、PyTorch、Conda、Docker,也不启动常驻模型服务:一个 8.1 MB 的 Rust 原生程序,在 24GB MacBook Air M5 上就能跑 Gemma 4 E4B,多轮聊天、图片理解都走 Metal。 实测:49,152 token 上下文,文本 tg50 均值 40.47 token/s;图文请求 TTFT 7.312 秒。 “零依赖”指运行时不依赖第三方 ​

不装 Python、PyTorch、Conda、Docker,也不启动常驻模型服务:一个 8.1 MB 的 Rust 原生程序,在 24GB MacBook Air M5 上就能跑 Gemma 4 E4B,多轮聊天、图片理解都走 Metal。

实测:49,152 token 上下文,文本 tg50 均值 40.47 token/s;图文请求 TTFT 7.312 秒。

“零依赖”指运行时不依赖第三方推理框架,模型权重和 macOS 系统框架仍然需要。完整代码、配置与视频: 网页链接/