认知重构！智能体规模化瓶颈，国产算力撕开新解法
天天写智能体应用，今天在CNCC海光展台听讲解，句句戳我痛处。智能体跟聊天机器人不一样：它得持续在线、挂着长上下文、反复调工具读写记忆，后端压力翻着倍涨。海光信息总裁助理兼智能计算产品部总经理杜夏威说，这种场景里CPU不再是配角，得管沙箱隔离、任务编排、记忆分级存储这些脏活，DCU专心做生成。他还提到，Agent从单次问答走向连续推理、自主执行，Token需求会持续涨，所以别只盯芯片峰值性能，有效Token吞吐和系统整体效率才是关键——这话我认同，海光靠CPU+DCU双芯协同做系统级优化，减少计算等待和无效搬运，方向是对的。
我听完只想说：终于有人正面聊这个了，以前大家都盯着模型效果，后端调度这块很少有人掰开揉碎讲，好像只要模型够聪明，底下系统就能自己跑顺似的。
他们8月发的那套架构，据说就是冲着高频推理来的，主打系统级优化，核心思路是把并发波动兜住，让推理系统在长上下文和持续调用下依然稳定输出。至于实际效果如何，还得看真实部署。反正展台挺热闹，智能体这波能不能规模化，芯片效率和稳定性都是绕不过的坎。听完一圈收获不小，至少知道回去该往哪个方向优化代码了，剩下的就交给时间和真实业务场景去检验吧。
CNCC2026 海光信息