V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  hanli  ›  全部回复第 1 页 / 共 5 页
回复总数  86
1  2  3  4  5  
2 天前
回复了 davidyin 创建的主题 Local LLM 想折腾一个 AI 主机,请行家出手
前面研究过这个问题,新配显卡的话显存至少考虑 24G 以上,不然模型效果都比较一般。现在用的 12G 的 3080ti ,都跑 QWEN Q4 量化模型,跑 27b 稠密架构的基本用不了,35b 的 moe 架构勉强能用下。
FRE-e7bde8b6
感谢
FRE-978ee2c6
感谢
ID:80
感谢
@KaiWuBOSS 我意思是思考开关,有时候用思考模式太慢了。另外运行 Qwen3.5-35B-A3B Q4 量化,最终的运行显存占用 5.6/12 GB ,是不是尽量用到 10G 以上更合适?具体日志提了一个 issue 。
支不支持思考模式的开关?有时候快速任务不需要冗长时间的思考
@youknowsomething 看了下,在用的 1.27.2 版本是可以自定义的,也没有新版本提示。
3 月 23 日
回复了 Brightt 创建的主题 分享创造 撸了日本小电影提取字幕并翻译的工具
环境能不能保存在软件目录? C 盘空间不多了
我的股票和 ETF 只有 2 种预测,高位滞涨/低位抢筹
2 月 24 日
回复了 hao7Chen 创建的主题 问与答 市场上有没有人能将 AI 与打印机结合一下
@marcong95 现在用的的施乐打印机就有啊,我记得叫 ID 卡复印吧
参与一下
支持一下
1  2  3  4  5  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5002 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 35ms · UTC 09:46 · PVG 17:46 · LAX 02:46 · JFK 05:46
♥ Do have faith in what you're doing.