@sentinelK 我现在用的是最新的 vllm ，改了一下 jinja ，基本上没有遇到这些问题，但是有个偶现的 GPU 报 Xid 31 导致奔溃的问题，可是 flashinfer 的 B12x 内核在长上下文、高并发、MTP 下的 bug ，就先凑合着用吧，codex 跑几个小时可能会遇到一次

Aug 19

Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@wcwcxiaobin 你可以试试呢，muse 大部分的局部注意力，长上下文也有可能不集中

Aug 19

Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@catazshadow 开 128K 和能力有什么关系？ Qwen3.8 估计关掉 thinking 都可以把 muse 吊起来打，所有的客观测试分数都相差两代的水平了，AA 比开了 reasoning 的 Qwen3.6 27B 都低三分，也就比 Qwen3.6 35B 好一点，真的是拉大了。

Aug 19

Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@sentinelK 这个应该是因为 qwen3.8 只有几个有限的思考等级，和 codex 的那几个不匹配，需要改 jinja 模版做映射

Aug 19

Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@yjhatfdu2 我是 PRO 6000 ，感觉现在 sm120 架构还是支持有限

Aug 19

Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

@catazshadow 规模更大，所有评测都落后一大截，AA 更是 35 比 52 ，这怎么叫打的有来有回呢？应该是全方位无死角吊打。Qwen 你也可以开 128k 上下文

» More replies by yjhatfdu2