JerningChan

目前来看，要用就用 4.6 ，不要去碰 4.7 ，恶心死你

@iorilu 你自己试试就知道了，问题是即便你想 27b 用的爽，不想折腾，单卡跑，成本是多少？随便起码一张 4090 吧，反正我自己用 2080ti 22g 跑 27b 模型，都只有 20t/s 左右，要用得爽，起码 60t/s 才有一点点效率

@commoccoom 不太行喔，除非你把大部分的层卸载到 cpu+内存，这样稠密型的模型就会比较慢了，moe 的话，我就不太清楚，我之前是 1660s 6g ，跑那种 9b 模型，设大了上下文，就得卸载到 cpu ，就会很慢

@diudiuu 就用 unsloth 的 Qwen3.6-27B-UD-Q4_K_XL.gguf 就很不错，我家里自己用的 35b-a3b 也很不错

感觉本地部署的 qwen3.6-27b 都比 opus 4.7 要用，写代码的话

今天消耗了 21%的 token opus4.7 居然对话了 3 次都处理不好一个 bug ，还来来回回 3 次都说他已经修改了代码，看输出他是改了，但是完全不知道他改的什么东西，反正就是没效果

然后，换回本地 qwen3.6-27b 一次解决问题

@ptstone 这样吗？我还在使用 llama.cpp

@ptstone 无，我纠结了下，还是用 llama.cpp 算了

@hutng 这个是 2080ti 22g 的设置，公司 5090d 就可以调大上下文到 256k ，然后换 27b 模型

@hutng 开啊
-m /data/qwen3.6/Qwen3.6-35B-A3B-UD-IQ4_NL_XL.gguf \
--mmproj /data/qwen3.6/35b-mmproj-F16.gguf \
--ctx-size 73728 \
-ngl 99 \
--host 0.0.0.0 \
--port 8080 \
--temp 0.6 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.00 \
--flash-attn on \
--cont-batching \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--threads 15 \
--parallel -1 \
-b 1024 \
-ub 1024 \
--chat-template-kwargs '{"enable_thinking": true, "preserve_thinking": true}' \
--metrics \
--jinja \
--alias Qwen3.6