3万亿参数级模型Kimi K3开源,总参数量
2.78T,单次激活16个专家。
近日,月之暗面全量开源全球首个3万亿参数级模型Kimi K3,该模型以2.78T总参数量、896个MoE专家架构在权威评测综合榜中空降第4位。技术层面,K3采用3:1配比的KDA与MLA混合注意力机制,同等算力下
scaling效率较前代提升2.5倍,支撑1M超长上下文,性能领先同类开源模型20%-30%;其单次推理仅激活16个专家,单token激活参数量控制在104B,并从8K训ll
练阶段起联合优化原生视觉编码器。此次开源打破了市场对硅谷巨头算力集群垄断的预期,核心博弈点从算力霸权转向算法效率与商业化闭环。极致的工程优化大幅压降推理成本,打破模型层暴利神话,促使产业价值加速向应用端传导,全面赋能复杂Agent任务与具身智能。关注:SK海力士/三星电子(高阶存储,受益于AI算力景气与供需失衡),腾讯/比亚迪(AI应用与具身智能,受益于多模态模型场景渗透),源杰科技(光芯片,受益于边缘推理拉动光通信订单)