昊梵体育网

如果你只有一张5090,想要在本地跑Qwen3.8 27B的,可以试试ninfer这个项目 地址:github.com/Neroued/ninfer 这是个专门为单张5090跑Qwen3.8 27B优化的推理引擎。最高用NVFP4、8 并发可以跑到766.6 tok/s 。 ​

如果你只有一张5090,想要在本地跑Qwen3.8 27B的,可以试试ninfer这个项目

地址:github.com/Neroued/ninfer

这是个专门为单张5090跑Qwen3.8 27B优化的推理引擎。最高用NVFP4、8 并发可以跑到766.6 tok/s 。 ​