昊梵体育网

【Kimi高管说K3非蒸馏复刻,月之暗面高管否认K3蒸馏小模型】据每日经济新闻,

【Kimi高管说K3非蒸馏复刻,月之暗面高管否认K3蒸馏小模型】据每日经济新闻,针对外界流传的“K3是蒸馏小模型”的猜测,7月21日上午,月之暗面公司企业业务负责人黄震昕在接受媒体记者采访时直接否认。黄震昕表示,K3性能跃升的核心来自底层原创架构创新,并非对现有模型蒸馏复刻。

此前发布时,Kimi也提到架构层面变化带来的效率提升。据介绍,Kimi K3基于Kimi Delta Attention(KDA)混合线性注意力机制和Attention Residuals(AttnRes)注意力残差技术构建。MoE(混合专家)层面,模型在896个专家中激活16个。而上述结构性改进让Kimi K3 相比K2的整体扩展效率提升约2.5倍。

关于模型幻觉问题,黄震昕也作出了回应。他表示,幻觉无法彻底根除。“幻觉本质是模型创造力的同源产物”,但K3已大幅压低其发生率;配套事实校验员子Agent的Agent Swarm架构,可逐一对报告、行业数据做校验,进一步降低内容失真概率。

面对开源闭源路线之争,黄震昕的观点清晰:二者并非对立竞争关系,而是企业客户差异化需求的产物。有私有化、微调需求的企业倾向开源,追求稳定托管服务的企业选择闭源。开源、闭源路线本身,与模型Token能力、输出质量没有必然绑定关系。

他同时明确,Kimi自K2起坚持开源路线,这一路线未来不会改变,核心底层技术、论文均对外公开,完整模型权重计划于2026年7月27日前发布。

此外,对于商业化层面,黄震昕透露,Kimi现阶段暂不提供私有化部署服务,商业模式对标海外成熟头部AI企业,核心发力打磨模型基础能力。他同时也表示不会止步于当前2.8万亿规模,大模型参数规模还会持续拓展。各位网友,您怎么看?(每日经济新闻)