如果你只有一张5090,想要在本地跑Qwen3.8 27B的,可以试试ninfer这个项目
地址:github.com/Neroued/ninfer
这是个专门为单张5090跑Qwen3.8 27B优化的推理引擎。最高用NVFP4、8 并发可以跑到766.6 tok/s 。

如果你只有一张5090,想要在本地跑Qwen3.8 27B的,可以试试ninfer这个项目
地址:github.com/Neroued/ninfer
这是个专门为单张5090跑Qwen3.8 27B优化的推理引擎。最高用NVFP4、8 并发可以跑到766.6 tok/s 。
