AI存储刚拿完第一,中科曙光又在数博会上扔了个炸弹
赛迪报告刚出,中科曙光在AI存储市场连续三年第一。结果数博会上,中科曙光又扔了个炸弹,发布了新一代词元加速方案ParaCache。
为什么这个事值得关注?因为大模型从训练卷到推理之后,真瓶颈往往不是GPU算力不够,而是存储拖后腿。KV Cache频繁读写、长上下文下单个请求Cache就能到几十GB。存储延迟一高,GPU就在那空转等数据。就像一个人不停地回头重读自己写过的内容。写100个字,回头重读99遍。写1000个字,回头重读999遍。这种重复劳动,GPU再强也扛不住。
中科曙光的ParaCache就是冲着这个去的。四个核心价值:快——首Token时延最高降98.5%;多——吞吐量最大提升27倍;省——不用堆内存,中低配硬件跑出高配效果;好——兼容LMCache标准,不用重构。
存储这个赛道,中科曙光从训练打到了推理。从存得快到算得省,这条路走得挺清楚。
也难怪数博会现场,大家都往中科曙光的展台扎堆,毕竟这年头,会解决问题的公司,比会秀参数的公司更值得看。
ParaCache 数博会 中科曙光 AI推理中科曙光ParaCache
