腾讯云实测!海光CPU在Agent时代的隐藏价值被跑出来了
最近看腾讯云Cube Sandbox和海光做的一轮联合适配,有个感受挺明显:Agent时代,大家可能有点低估CPU了。
现在很多人聊AI基础设施,眼睛基本都盯着GPU。但Agent跟聊天机器人不太一样,它真要执行代码、调工具、跑任务。为了不让不同Agent互相干扰,这些任务往往要塞进一个个独立沙箱里。
Cube Sandbox就是干这个的,基于RustVMM+KVM做MicroVM硬件级强隔离。真正上高并发以后,麻烦马上来了:调度抖动、长尾延迟、跨NUMA访问,光做到“能跑”根本不够。
海光和腾讯云最后一路把优化做到应用锁、gRPC链路和Linux内核。50并发下P99延迟稳定低于500ms,单沙箱冷启动83.5ms,整体延迟降幅超过81%,而且没有请求超时。
这时候再看前几天的Agent to Token开放计算架构里,为什么专门把沙箱隔离放在CPU这一侧,就顺了。
Agent越多,沙箱创建、销毁和调度越频繁。负责产Token的加速器很重要,但把一群Agent安全、有序组织起来的CPU,同样不能掉链子。
海光信息 Agent to Token 腾讯云AI Agent
