第一篇｜聊聊我最近很看好的 AI 推理方向
新号，先简单介绍一下自己。

PhD毕业后，创办了 Nexa AI，公司被收购后，现在在 Qualcomm 做 Director，主要还是围绕 AI inference 相关的事情。

开这个账号，主要想分享一些我平时看到、觉得有意思或者值得长期关注的 技术方向、idea 和公司。很多观点也只是个人理解，欢迎讨论。

最近第一个比较关注的方向是 Heterogeneous Inference（异构推理）。

现在 AI 算力其实已经越来越异构了：NVIDIA GPU、AMD GPU、TPU、各种 NPU 和 accelerator 都在快速发展。

所以我觉得一个越来越重要的问题是：

这些不同的芯片，未来怎么真正放在同一个 inference system 里一起用？

比如 LLM 的 Prefill 和 Decode，本身对计算和内存的需求就不太一样，未来完全可能由不同类型的 GPU 或 accelerator 来承担。

相比单纯讨论“哪块芯片更强”，我更感兴趣的是怎么把不同硬件的优势真正组合起来，把 性能、成本和利用率 做得更好。

另外最近也在持续关注 Physical AI。

之后也会慢慢分享一些自己的思考和观察，也希望在这里认识更多对 AI、系统、Physical AI 感兴趣的朋友。