Kimi K3 公布它的开源权重文件，你可以看到它的精度是 FP4 + FP8，能够训练出这种精度的设备，说白了那就是 B300， 如果你提供推理服务，Kimi K3 2.7 万亿的参数，如果是 INT8，光是模型权重文件都接近 3TB，你还得放缓存，那显存就得 4TB。这样的 GPU 左右的话，都得超过 40 张 GPU 才能运行一个节点。
单节点的 GPU 越多，里面有一张 GPU 出了问题，整个节点就得换卡重启。
Kimi K3 公布它的开源权重文件，你可以看到它的精度是 FP4 + FP8，能够训练出这种精度的设备，说白了那就是 B300， 如果你提供推理服务，Kimi K3 2.7 万亿的参数，如果是 INT8，光是模型权重文件都接近 3TB，你还得放缓存，那显存就得 4TB。这样的 GPU 左右的话，都得超过 40 张 GPU 才能运行一个节点。
单节点的 GPU 越多，里面有一张 GPU 出了问题，整个节点就得换卡重启。