国内外主流开源模型架构
国内外开放权重模型呈现相同方向：在自回归生成框架下，用 MoE 扩大模型容量、减少每个 token 激活的专家，同时用线性、稀疏或滑窗注意力控制长上下文计算和 KV 缓存成本。

Qwen3.8与Muse Spark Open都采用 MoE，但具体结构各有侧重。DeepSeek V4.1采用因果编码器加解码器并跨层复用 KV，Kimi K3混合线性注意力与 MLA，Nemotron 3 Ultra交错使用 Mamba-2 和注意力。Gemma 4 31B则保留稠密 FFN。

模型定位和部署约束比国别更能解释架构差异。共同趋势是把专家路由、长上下文、多模态和推理效率一起设计。

大模型 muse deepseek qwen kimi