昊梵体育网

又想到一个很有意思的案例。24年那会儿,ai的需求主要集中在训练市场,很多人对云

又想到一个很有意思的案例。

24年那会儿,ai的需求主要集中在训练市场,很多人对云一窍不通,认为以后推理需求起来了,就不需要像训练一样用大集群了,自然也不需要交换机和光模块了,甚至有不少人认为一体机会成为主流方案。

我当时就批评了这种观点,这种观点表明了对发展了十几年的云计算商业模式的彻底漠视。云计算最大的特点就是按需付费,大幅度地提高了硬件的效率,降低了成本,加上移动互联网超级应用和巨头的逐步形成,这才是云为什么会大规模的本质。

当时我的判断,进入到推理市场,不但不会用小集群,反而会用更大的集群。

一方面是ai比互联网有着更强的规模效应和赢者通吃的效应,头部大模型大概率会通吃一切,而大规模集群是已经被证明了十几年的最优解。二来从ai infra的第一性原理也可以知道,用户量大了之后,交互相应对于通信延迟的要求会暴增,网络的重要性会大幅度体现。当然,还有模型参数体量越来越大,带来的集群规模的必然提升。

现在回过头看,好像一切都是那么理所应当,但站在当时的时间点,做出正确的判断,考验的点非常综合:既要懂云,还得懂ai大模型,懂推理和训练的异同,懂模型发展的趋势,懂集群和网络架构,等等。

再落实到投资的话,难度就更大了。所以真正能做好产业投资的人,少之又少,能做得好,基本上都会成为top0.1%的顶级选手。成为TA的V+会员