hanli

V2EX member #99602, joined on 2015-02-23 21:46:27 +08:00

Today's activity rank 10297

Windows • hanli • Mar 18, 2024 • Lastly replied by busier

4

二手交易 • hanli • Dec 16, 2020 • Lastly replied by rvw

6

二手交易 • hanli • Sep 2, 2020 • Lastly replied by adrainyang

3

二手交易 • hanli • Sep 2, 2020 • Lastly replied by Eagleyes

5

hanli's recent replies

1 day ago

前面研究过这个问题，新配显卡的话显存至少考虑 24G 以上，不然模型效果都比较一般。现在用的 12G 的 3080ti ，都跑 QWEN Q4 量化模型，跑 27b 稠密架构的基本用不了，35b 的 moe 架构勉强能用下。

3 days ago

FRE-e7bde8b6
感谢

4 days ago

FRE-978ee2c6
感谢

4 days ago

ID：80
感谢

Apr 26

@KaiWuBOSS 我意思是思考开关，有时候用思考模式太慢了。另外运行 Qwen3.5-35B-A3B Q4 量化，最终的运行显存占用 5.6/12 GB ，是不是尽量用到 10G 以上更合适？具体日志提了一个 issue 。

Apr 26

支不支持思考模式的开关？有时候快速任务不需要冗长时间的思考

Apr 16

@youknowsomething 看了下，在用的 1.27.2 版本是可以自定义的，也没有新版本提示。