12GB 显卡就能运行 DeepSeek V4.1-Flash 了! 网页链接
刚刚发布的 Strata 0.2.4,在命令行版本中加入了对 DeepSeek V4.1-Flash 的支持,在RTX 3060 12GB + 46GB RAM 的硬件条件下,跑 IQ2_XXS 量化版本能实现 8~10 tokens/s 的速度。需要 239GB+ 的 SSD 空间。
质量方面,Strata 提供的三个版本分别是 1.75-bit、2.00-bit 和 2.25-bit。根据模型量化团队 ISTA-DASLab 的测试,即使是压缩最狠的 1.75-bit 版本,在数学、知识问答和编程三项基准测试中的平均表现,仍达到原版的 98.7%。
但是,测试是测试,实际使用是实际使用,不要搞混了。
