tootfsg

V2EX member #674121, joined on 2024-01-31 00:23:51 +08:00

Today's activity rank 6956

tootfsg 提问技术话题好玩工作信息交易信息城市相关

Per tootfsg's settings, the topics list is only visible after you sign in

Deals info, including closed deals, is not hidden

tootfsg's recent replies

Apr 30

Replied to a topic by babymonster › Local LLM › 私有化部署大模型的“终点”是 Mac 还是 Nvidia？

这个问题很简单
能拿出 6,7w ，甚至 10w 多人民币买显卡就上 NVIDIA 工作站 pro6000 这种。
能拿出几十万就上 NVIDIA 服务器显卡。
2-3-4w ，还想舒服点跑大模型，等上 m5 pro 的 mac mini/studio 。

5070ti 留着玩 comyui 吧。

据我所知玩模型有两种
1 是训练模型，只能上 nvidia 的显卡。
2 是推理，就是下载别人训练好的模型自己部署使用
2 这种我建议上 mac ，因为 5070ti 价格还行但显存太鸡肋了，5090 24g cuda 核多但显存太小，价格又翻倍，5090 32g 得摸到 3w 人民币了，cuda 核心更多但显存只是 7000 块钱的 5070ti 翻倍，而且又和 nvidia 工作站显卡价格接近了了。

能拿的出钱就买 6w 左右一张的 pro6000 这种，只需要看 nvidia 工作站显卡就行了。
预算低就 3-4w 左右的 m5 mac
再低就继续用 5070ti 跑 27b 以下的 iq4xs 吧。

Apr 29

Replied to a topic by babymonster › Local LLM › 我自己的电脑是 5070Ti，总感觉跑一些模型算力不够

我感觉个人部署开源模型，唯一高性价比方案就是等 m5 macmini/studuo 出来，3w 左右的配置买一台。

除非是训练模型，那只能用 nv 。

Apr 29

Replied to a topic by babymonster › Local LLM › 我自己的电脑是 5070Ti，总感觉跑一些模型算力不够

输出慢是因为你用内存跑了，那能快吗.......

Apr 29

Replied to a topic by babymonster › Local LLM › 我自己的电脑是 5070Ti，总感觉跑一些模型算力不够

我也是 5070ti ，gemna4 26b a4b iq4xs ，速度 150t/s ，上下文开的 64k ，我觉得这个显卡算力一点也不差，差的只是显存。iq4xs 量化倒是还行，但这个量化我不太敢实践用

Apr 23

Replied to a topic by itbrother › 生活 › 好用的果蔬清洗机推荐

@itbrother 我也不知道东菱的和其他比怎么样，只是一直在用。