V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sunfly
V2EX  ›  硬件

想离线运行下大模型玩玩,现在还能搞到 4090 么?

  •  
  •   sunfly · 45 天前 · 2872 次点击
    这是一个创建于 45 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想离线运行下大模型玩玩,有几个问题比较纠结,请教下各位大佬 1.现在还能搞到 4090 么?有啥便宜靠谱的渠道么? 2.4090 和 4090d 差距有多大呢? 3.入手 4090 还是等等 5090

    29 条回复    2024-04-10 20:09:49 +08:00
    dcalsky
        1
    dcalsky  
       45 天前
    现实:4090 只能跑 13B ,且无法 finetune 。
    LanhuaMa
        2
    LanhuaMa  
       45 天前
    你是要运行多"大"的模型...

    实测咸鱼三百块的 P4 显卡可以流畅运行 gemma 7b, 生成速度没统计,但是差不多是 GPT4 的两倍。想要跑再大一点的模型多查几张 P4 或者换 P40 都可以的吧。。
    444571840
        3
    444571840  
       45 天前
    本地能跑的大模型( 13B 以下的),基本和弱智一下,胡编乱造。。。
    TabGre
        4
    TabGre  
       45 天前 via iPhone
    要跑 SD 需要什么显卡? 出图不卡顿
    Leonkennedy2
        5
    Leonkennedy2  
       45 天前   ❤️ 1
    我有两张 A100 。

    如果楼主只是玩玩,可以去租算力,算力租赁平台很多,技术也比较成熟了
    evan9527
        6
    evan9527  
       45 天前
    @TabGre #4 手持 3060 ,500x500 生图几秒一张,至少比我 A 卡的 macbook 快多了,还得是英伟达。
    jmc891205
        7
    jmc891205  
       45 天前
    192G 的 M2 ultra 的 Mac Studio
    或者等 256G 的 M3 ultrl
    ichou
        8
    ichou  
       45 天前
    https://featurize.cn/ 玩一下的话,建议租一个
    JayZXu
        9
    JayZXu  
       45 天前
    个人部署的离线大模型的话,性价比最高的应该还是 M40 24G 版本的
    只是运行大模型的话,显存足够大能加载模型就行,速度其实都是次要的

    如果微调或者训练模型的话,一张 4090 也不太行,少说也要准备 100G 以上才能得到比较理想的效果

    所以如果真的不是能有确定的项目收入,不如直接租个服务器玩玩算了,大多数情况下,直接调用各个收费模型免费的 API 额度都比自己搭的模型靠谱
    waityan
        10
    waityan  
       45 天前
    我的笔记本 i5 都能勉强跑得动 7b 的模型,用 ollama
    jevonszmx
        11
    jevonszmx  
       45 天前
    @TabGre 最性价比的是 P104 ,100 多,sd 出图几秒一张
    gunnarli
        12
    gunnarli  
       45 天前   ❤️ 1
    玩玩的话可以考虑租用,有很多算力租用平台,不过谨防跑路,谨慎甄别,祝顺利
    leonme
        13
    leonme  
       45 天前 via iPhone
    @LanhuaMa 这个多少显存啊?
    kwater
        15
    kwater  
       44 天前
    离线运行,纯推理 chat ?
    可以试试 模型类型+ benchmark 关键字 找到你能接受的性价比。

    单片 4090 有 model 容量天花板,容易见顶完全不能用,
    反而 ram 64-128g 的话可以天花板更高点
    maokg
        16
    maokg  
       44 天前
    @TabGre 4060 就可以
    pslucifer
        17
    pslucifer  
       44 天前
    A100 可以吗?
    lingeo
        18
    lingeo  
       44 天前
    @Leonkennedy2 我看了 A100 的参数,互连上面写的是 nvlink * 2 是只支持两块互连吗?
    Leonkennedy2
        19
    Leonkennedy2  
       44 天前
    @lingeo 是的,单个接口 nvlink * 2 ,最多可以 2+2 ,4 块互联
    sunfly
        20
    sunfly  
    OP
       44 天前
    @dcalsky 4090 这么拉跨嘛
    sunfly
        21
    sunfly  
    OP
       44 天前
    @LanhuaMa #2 适合我们垃圾佬哈哈哈
    sunfly
        22
    sunfly  
    OP
       44 天前
    @444571840 😂调教都调教不好啊
    sunfly
        23
    sunfly  
    OP
       44 天前
    @TabGre 炼丹是不是对显存要求不高啊
    sunfly
        24
    sunfly  
    OP
       44 天前
    @jmc891205 钱包怕不是连个皮儿都不剩啊哈哈
    sunfly
        25
    sunfly  
    OP
       44 天前
    @ichou 插眼,多谢啦
    sunfly
        26
    sunfly  
    OP
       44 天前
    @JayZXu 插眼去瞅瞅 M40
    sunfly
        27
    sunfly  
    OP
       44 天前
    @waityan 太强了哈哈
    sunfly
        28
    sunfly  
    OP
       44 天前
    @kwater 受教了,多谢大佬指点
    doruison
        29
    doruison  
       42 天前
    @444571840 特斯拉马总开源那个模型,需要内存好像 100T+吧,看到这个数字我惊呆了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2609 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 14:37 · PVG 22:37 · LAX 07:37 · JFK 10:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.