本地跑 sd 和 local llm 推理, 什么显卡性价比最高？

[cinlen]

如题。

纯推理，主要用于个人学习(sd, ollama 小参数模型), 没有微调需求。

[justFxxk2060]

2080ti 魔改

[13240284671]

3060ti 16g

[13240284671]

说错了，4060 16g

[hez2010]

本地一般是跑量化后的模型，你的显卡起码得支持 INT8 和 INT4 。

[netizenHan]

应该要求不高吧，前两天看公司里有人用 M3 的 macpro 都能部署 LLaMA3-8B ，不过就是比较慢

[cinlen]

@justFxxk2060 有看到 2080ti + 22g 的方案，这个靠谱吗？

[cinlen]

@hez2010 最好是可以 fp16

[my101du]

@13240284671 非 ti 的 4060 ， 好像都是 8G 的？ 618 想装机都没找到 16G 的 4060.

[cinlen]

@netizenHan 目前我是 m1 跑小模型没啥问题。 但还有 sd webui 和 sd comfyui 的需求，所以应该会攒台新机器。

[ccloving]

如果是 SD 和 ollama ，用 A 卡是不是就可以

[cinlen]

@ccloving 好问题. 话说你不提我压根没想过 A 卡

[ccloving]

@cinlen B 站上有人搞 A 卡，你搜搜，又不炼丹，按说没问题，大显存的显卡都不贵呀。

[gam2046]

@netizenHan #5 8B 效果很一般，基本处于完全胡诌的状态，我用 3090 跑过，响应速度快，但是胡说八道。而 70B ，我的 3090 就跑不起来了。

[SamLacey]

@cinlen 矿卡老祖了，如果售后有保障，或者你动手能力强可以冲，40 系老黄刀法太好了，60superti 与 70 价格差一倍，性能也刚好差一倍，显存不爆的情况下，只有时间差别

[SamLacey]

反正挺推荐 4070ts 的

[luchenwei9266]

看预算，3000 以下无脑选 2080ti 22G

[goxxoo]

我算过了, 和一台 MBP 价格差不多...2w 以内

[zysuper]

没钱选 NVIDIA GeForce RTX 4060 Ti ，

[billgreen1]

M2 ULTRA 192GB,

[cinlen]

@luchenwei9266 可以考虑看看 , 魔改的 22g 踩雷概率高吗？