腾讯混元 4 正式亮相啦🪐 770B 参数，支持百万上下文，距离上一个大版本更新还不到四个月。 这次是混元大语言与多模态部门合并重组之后交出的答卷，各项指标冲到第一梯队。
做大模型不存在什么独家黑魔法这句话，来自空降腾讯的姚顺雨。 看完混元 4 的底层细节，才发觉这话真不是凡尔赛😯
模型架构上，官方坦诚参考了 DeepSeek、GLM 的相关设计。 稀疏注意力模块采用 DeepSeek 的 DSA 机制，同时引入智谱的 IndexCache 优化方案。 原 GLM‑5 的核心研究员白雨石，也已经加入腾讯混元团队。
在 700B 这个参数量级，各家踩坑摸索出来的工程最优解，正在慢慢趋同。 智谱在 GLM‑5 验证过的模型配置，借着开源，变成行业可以共用的底座。
技术的流转速度快得有点惊人⚡ DeepSeek 在 2025 年 9 月开源 DSA，之后智谱落地到 GLM‑5，再迭代出 IndexCache。 前后不到一年，整套技术组合就被用在了混元 4 当中。
不光是论文代码，人才流动也在带走宝贵的工程实战经验。 有意思的是部分架构优化思路，甚至来源于社交平台上的讨论帖子。 相关观点的提出者，后续也加入国内头部大模型团队。
论文公开、开源共享加上人才频繁流动，曾经的技术护城河正在不断被抹平。 现在比拼的，更多是整合、落地以及大规模训练的工程能力。
想要了解更多有趣的 AI 研究，记得关注我哦