**信源：Semi-Dope Podcast 对 TensorDyne 联合创始人兼 CPO R. K. Anand 的访谈，2026 年 8 月。本文主要基于访谈中对 TensorDyne 推理架构、HPE Juniper scale-up fabric、MoE 通信模式及 SRAM/HBM 混合内存体系的讨论展开。**

过去几年，AI 芯片竞争最常见的衡量方式是算力。
从 FP16 到 FP8，再到 FP4，从几十 TFLOPS 到数 PFLOPS，芯片厂商不断增加矩阵乘法单元，希望用更高的峰值算力推动模型训练和推理性能。
但随着大模型进入 Mixture of Experts，也就是 MoE 时代，一个越来越明显的变化正在发生：
**推理正在从一个以“计算”为中心的问题，逐渐变成一个“数据应该放在哪里、下一步应该送到哪里”的问题。**
这也是为什么 Scale-up Network 正在从 AI 服务器里的辅助基础设施，逐渐变成决定 token 生成速度的核心组件。
TensorDyne 最近披露的推理架构，是观察这一变化的一个很好的窗口。
## 从 Dense Model 到 MoE，计算模式变了
传统 Dense Transformer 有一个相对简单的特点：每生成一个 token，大部分模型权重都会按照相对固定的路径参与计算。
这样的 workload 很适合 GPU。
大量矩阵乘法可以被高度并行化，而 GPU 的核心任务，就是尽可能提高计算单元利用率。
但 MoE 改变了这种模式。
一个 MoE 模型可能拥有两万亿甚至更多总参数，但每生成一个 token，并不需要激活全部参数，而只会选择其中少数几个 expert。
这带来了一个新的问题。
以前最重要的问题是：
> 一颗芯片每秒能完成多少次矩阵乘法？
到了 MoE，这个问题逐渐变成：
> 这个 token 应该被发送到哪个 expert，而那个 expert 又运行在哪颗芯片上？
当模型无法放入单颗 accelerator，而必须分布到几十甚至几百颗芯片以后，expert routing 本质上就变成了一个规模巨大的数据交换问题。
TensorDyne 在访谈里反复强调一个变化：过去 Tensor Parallel 等并行模式的数据通信往往比较规律，而 MoE expert selection 会带来更加动态、更加随机的流量模式。
这意味着 AI 系统内部的网络，也开始从相对固定的 collective communication，逐渐接近一种 **any-to-any communication**。
换句话说：
**AI accelerator cluster 正越来越像一台巨型路由器。**
## 为什么 TensorDyne 会找到 Juniper
这也解释了 TensorDyne 一个看似非常反常规的设计选择。
它没有自己从零开始设计 scale-up network，而是选择与 HPE Juniper Networks 合作，把高端路由器内部已经成熟的 switching fabric 引入 AI 推理系统。
TensorDyne 联合创始人 R. K. Anand 曾是 Juniper 创始工程团队成员，并长期参与高端 router silicon 的设计。
在传统互联网核心路由器中，每个端口接收到的数据都有可能被送往任意一个输出端口。
这些数据包可能很小，也可能很大；可能来自实时视频，也可能来自普通互联网流量。
因此一套成熟 router fabric 必须解决几个问题：
低延迟、拥塞控制、高利用率、可靠性，以及 any-to-any traffic。
TensorDyne 的判断是：这些能力恰好开始成为 MoE inference 所需要的能力。
这背后反映的是一个更深层的变化。
过去 AI 网络负责的是：
**把 GPU 连接起来。**
现在网络开始负责的是：
**决定计算如何继续执行。**
当一次 MoE inference 变成：
Compute → Route → Compute → Route，
network 就不再只是计算系统外面的 plumbing，而成为了 computation pipeline 的一部分。
这也是 Scale-up Network 价值正在快速上升的根本原因。
## 当芯片越来越快，微秒也开始变得昂贵
这种变化在高 token speed 场景下尤其明显。
如果系统目标是 100 token/s，那么每个 token 大约拥有 10ms 的时间预算。
但如果未来 agentic workload 希望达到 1000 token/s，那么一个 token 的完整计算预算只有：
1ms。
这时，一次几十微秒甚至几微秒的 communication，都不再是可以忽略的数字。
TensorDyne 披露，其采用的 Juniper fabric latency 大约在 1—2 微秒量级。
单看这个数字似乎非常小。
但假设一个模型有几十层甚至上百层，同时部分计算涉及跨芯片 expert routing，那么 communication latency 会不断累积。
因此未来衡量一个 AI accelerator 的性能，仅看芯片 FLOPS 已经越来越不够。
真正决定 token latency 的，是整个系统中：
计算、内存读取、网络通信以及调度等待时间的总和。
从这个角度看，未来的 AI Benchmark 也可能逐渐从：
“这颗 GPU 有多少 PFLOPS”
转向：
“这套系统每 MW 可以生成多少 token，以及每个用户可以获得多少 token/s”。
芯片正在变成系统的一部分，而系统本身才是产品。
## SRAM、HBM 与网络开始形成新的三角关系
TensorDyne 另一个值得关注的设计，是它同时配置了大量 SRAM 和 HBM。
公司披露，一套 72 颗 accelerator 的 13RU 系统拥有约 10.8TB HBM，以及超过 18GB SRAM。
这是一种很有代表性的趋势。
过去市场经常把 SRAM accelerator 和 HBM GPU 理解成两条互相竞争的路线。
例如 Cerebras、Groq 等架构强调利用大量 SRAM 获得极高的低 batch decode speed，而 NVIDIA、AMD GPU 则依赖 HBM 获得更大的 memory capacity 与系统吞吐。
但未来真正可能出现的方向，并不是 SRAM 或 HBM 二选一，而是更加复杂的 memory hierarchy。
HBM负责：
模型权重、大规模 KV Cache 和整体 capacity。
SRAM负责：
hot data、activation，以及频繁访问的 working set。
Scale-up Fabric 则负责：
把数据和 token 快速送到拥有目标 expert 的 accelerator。
三者开始形成一个完整体系：
**HBM 决定“能装多少”，SRAM决定“附近有多少数据可以立即使用”，Network决定“数据下一步去哪”。**
随着模型越来越 MoE 化，这三个维度之间的协同，可能比单独增加计算单元更加重要。
## Scale-up 的价值因此不只是“带宽上涨”
过去理解网络投资机会，最简单的方法是看 bandwidth。
400G、800G、1.6T。
但 AI scale-up 的价值并不只是每秒传输多少 bit。
未来越来越重要的参数还包括：
latency、tail latency、congestion behavior，以及高负载下的 effective bandwidth。
这与互联网交换网络的发展历史有一些相似之处。
互联网早期也曾经主要追求 link speed。
但当流量快速增长以后，真正困难的问题逐渐变成如何在一个复杂拓扑中，持续、稳定而低延迟地把流量送到正确的位置。
AI Scale-up Network 正在经历类似过程。
尤其是 MoE。
当数百个 expert 分散在几十颗 accelerator 上时，每个 token 实际上都在进行一次微型的 routing decision。
模型规模越大，expert 数量越多，token throughput 越高，网络在整个计算周期中的权重就越大。
这也意味着，未来 AI 系统里的网络价值，很可能继续从服务器外部向 rack 内、board 内，甚至 package 内迁移。
过去我们讨论的是：
GPU 到 GPU。
随后是：
rack 内 accelerator 到 accelerator。
更长期则可能继续演化到：
die-to-die、chiplet-to-chiplet，乃至 memory 与 compute 之间更加直接的 optical/electrical interconnect。
## 但 TensorDyne 仍然需要真实硅片验证
需要强调的是，TensorDyne 当前仍处在非常早期的验证阶段。
公司在访谈中表示，3nm 芯片已经完成 tape-out，预计在 2026 年第四季度获得首批器件，并计划随后开始系统 power-on 和客户 beta。
因此公司目前披露的诸如较低系统功耗、较高推理性能以及接近数量级的部分性能优势，本质上仍然来自 simulation。
这些数据距离真实 production workload 之间，还有很多需要验证的环节：
实际模型精度、HBM utilization、SRAM hit rate、MoE routing efficiency、fabric P99 latency、compiler maturity，以及长时间运行时的系统稳定性。
尤其 TensorDyne 采用 logarithmic number system，其数学设计是否能够在不同模型、不同量化精度以及长 reasoning chain 中保持稳定的模型质量，是未来真实 silicon 上必须回答的问题。
因此，现在判断 TensorDyne 是否能够挑战主流 GPU 仍然过早。
但它提出的问题本身已经非常重要。
## AI 芯片竞争正在进入“系统平衡”阶段
过去十年的 AI 芯片发展，很大程度上是一场计算密度竞赛。
更多 transistor。
更多 matrix engine。
更多 FLOPS。
现在，这个逻辑正在发生变化。
当计算越来越快之后，瓶颈开始不断向外移动：
从 compute 移向 HBM bandwidth，
从 HBM 移向 SRAM hierarchy，
再从 memory 移向 scale-up communication。
而 MoE 又进一步强化了这种变化。
因为 MoE 并不是单纯要求系统“算得更快”，而是要求整个系统：
**知道数据在哪里，并且能够以足够低的代价把计算送过去。**
因此下一阶段真正优秀的 AI accelerator，很可能并不是某一个单项参数最强的芯片。
它必须同时平衡：
Compute、SRAM、HBM、Network 和 Software。
TensorDyne 是否能够实现这一目标，目前仍然需要真实硬件验证。
但它代表的技术方向已经越来越清晰：
**MoE 正在把 AI inference 从单纯的计算问题，重新定义成一个计算、存储与路由共同决定性能的系统工程问题。**
而在这个新的体系里，Scale-up Network 不再只是 GPU 后面的连接器。
它正在逐渐成为 Token Factory 的一部分。
当每一次 token generation 都必须经历更多的数据搬运、expert selection 和跨芯片通信以后，未来 AI 基础设施竞争的核心问题，可能不再是：
**“谁拥有最快的芯片？”**
而是：
**“谁能以最低的数据移动成本，把正确的数据，在正确的时间，送到正确的计算单元？”**
这可能才是 MoE 时代真正值得关注的架构变化。