SemiAnalysis 说 TPUv7 跑 Kimi K3 2.8T 的性价比已经能和 GB200、B300、MI355 掰手腕。看了图,我觉得没那么猛。
这是 Inferact(做 vLLM 的)和 Google 的第一版初步提交,优势只在超高交互速度那段,靠 megakernel,把一堆小 kernel 合成一个省启动开销,小 batch 低延迟最吃这个。TPUv7 按每芯片每小时 1.21 美元算,GB300 是 2.31,用的是超大厂自有成本。
横轴 200 tok/s/user 往右,另外三家的线根本没画到那儿。剩下个 GB300,那段看着还在 TPU 上面。
等后续提交出来,我打算把 TPU 和 B300 在 50 到 100 那段的点对一遍。
#大模型 #AI芯片 #人工智能 #算力 #谷歌

