seers

seers

V2EX member #73974, joined on 2014-09-15 16:43:16 +08:00
Today's activity rank 10510
Per seers's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
seers's recent replies
模型也在进化,相同硬件也可以免费获取性能升级
可以试下,Q4_K_M 才 20 个 G ,加载应该没啥问题,能跑多快不好说
让 ai 拆任务然后做
@Jacobson 几年前组的台式机,ddr5 32g ,vram 12g ,amd6 系老卡跑的 vulkan llama.cpp ,模型是 unsloth/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf ,kv 都是 q8_0 ,开的 32k 上下文,推理关掉,就是太慢了,除了不要钱感觉难堪大用
我在本地部署了 qwen35b ,让 deepseek 做 planner 然后本地模型 worker ,目前看下来质量挺好的,就是慢了点,大概 35tok/s ,但是省钱啊
pi
黑灰哥们早就在用了,白盒,混淆,ollvm ,vmp 在 ai 眼里都不是事了,trace 一拿分分钟出 key
当然是从最底下开始一层层往上了,从现象倒推是最快的
加油
亏钱也得烧,内存厂亏了多少年了,这不直接吃到饱
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5622 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 07:21 · PVG 15:21 · LAX 00:21 · JFK 03:21
♥ Do have faith in what you're doing.