tootfsg

tootfsg

V2EX member #674121, joined on 2024-01-31 00:23:51 +08:00
Today's activity rank 6956
Per tootfsg's settings, the topics list is only visible after you sign in
Deals info, including closed deals, is not hidden
tootfsg's recent replies
这个问题很简单
能拿出 6,7w ,甚至 10w 多人民币买显卡就上 NVIDIA 工作站 pro6000 这种。
能拿出几十万就上 NVIDIA 服务器显卡。
2-3-4w ,还想舒服点跑大模型,等上 m5 pro 的 mac mini/studio 。

5070ti 留着玩 comyui 吧。

据我所知玩模型有两种
1 是训练模型,只能上 nvidia 的显卡。
2 是推理,就是下载别人训练好的模型自己部署使用
2 这种我建议上 mac ,因为 5070ti 价格还行但显存太鸡肋了,5090 24g cuda 核多但显存太小,价格又翻倍,5090 32g 得摸到 3w 人民币了,cuda 核心更多但显存只是 7000 块钱的 5070ti 翻倍,而且又和 nvidia 工作站显卡价格接近了了。

能拿的出钱就买 6w 左右一张的 pro6000 这种,只需要看 nvidia 工作站显卡就行了。
预算低就 3-4w 左右的 m5 mac
再低就继续用 5070ti 跑 27b 以下的 iq4xs 吧。
我感觉个人部署开源模型,唯一高性价比方案就是等 m5 macmini/studuo 出来,3w 左右的配置买一台。

除非是训练模型,那只能用 nv 。
输出慢是因为你用内存跑了,那能快吗.......
我也是 5070ti ,gemna4 26b a4b iq4xs ,速度 150t/s ,上下文开的 64k ,我觉得这个显卡算力一点也不差,差的只是显存。iq4xs 量化倒是还行,但这个量化我不太敢实践用
Apr 23
Replied to a topic by itbrother 生活 好用的果蔬清洗机推荐
@itbrother 我也不知道东菱的和其他比怎么样,只是一直在用。
Apr 23
Replied to a topic by itbrother 生活 好用的果蔬清洗机推荐
普通家用 东菱?我一直以为只有这个的才能用,所以坏了买的也是这个牌子的
Apr 23
Replied to a topic by dododada Apple ios18.7.8 能更新么
我之前也是 15.多,不想升级 26 ,看见 18 就升级了,dark 模式 apple 和第三方的主页 app 图标不统一,比较难看,密码变成独立 app 了,还有我用的少,倒是没发现问题,
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2710 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 14:25 · PVG 22:25 · LAX 07:25 · JFK 10:25
♥ Do have faith in what you're doing.