V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kerrspace
V2EX  ›  程序员

深度学习显卡选择(RTX A6000 和 RTX 3090)

  •  
  •   kerrspace · 2022-09-14 12:35:51 +08:00 · 6630 次点击
    这是一个创建于 803 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近看见美帝又要制裁 AI 芯片所以想着赶紧把要买的买了

    RT ,小弟我本职工作和 AI 是无关的所以不存在用公司服务器这种说法了,就是想平时用来复现一下 CV,ML 的论文,水一水实验(潜台词是什么模型都可能碰到,不存在针对某一个特定领域 /模型的情况),顺带研究一下 ML,DL 的基础设施

    现在有大概 3 万多的预算,也就是买:一张 RTX A6000 或者 两张 RTX 3090 ( 2 张比 A6000 还便宜 5000 ),

    大家怎么看?如果是你们你们会怎么选?

    41 条回复    2022-09-15 06:01:31 +08:00
    AlexPUBLIC
        1
    AlexPUBLIC  
       2022-09-14 12:39:46 +08:00
    3090, 你要 ecc 内存基本没啥用,我到是看上 3090fe 了,7k 这样,在犹豫
    mywind
        2
    mywind  
       2022-09-14 12:41:12 +08:00 via iPhone
    现在 3 万多都可以买四张 3090 了,b 站 l 李沐大佬有一个双 3090ti 的装机教程可以参考一下.
    nightwitch
        3
    nightwitch  
       2022-09-14 12:41:32 +08:00 via Android
    开 colab pro 跑,本机买一张 3060 用来调试代码
    kerrspace
        4
    kerrspace  
    OP
       2022-09-14 12:42:07 +08:00
    @AlexPUBLIC 但是我看 A6000 显存大的一逼( 48G )是 3090 单卡的 2 倍 这个在实践中会有很大的帮助吗? 2 张 24GB 不能完全等效于 1 张 48GB 这个我是知道的
    28Sv0ngQfIE7Yloe
        5
    28Sv0ngQfIE7Yloe  
       2022-09-14 12:42:09 +08:00
    矿 3090 只要 4k 了,买八张
    28Sv0ngQfIE7Yloe
        6
    28Sv0ngQfIE7Yloe  
       2022-09-14 12:42:47 +08:00
    3090 普遍成色好,锻炼时间短,我觉得买矿也未尝不可
    ZRS
        7
    ZRS  
       2022-09-14 12:48:23 +08:00 via iPhone
    买矿 3090
    kerrspace
        8
    kerrspace  
    OP
       2022-09-14 12:51:03 +08:00
    @nightwitch nah 想顺便捯饬一下 ML DL infrastructure ,跑 colab 就纯炼丹了
    zcf0508
        9
    zcf0508  
       2022-09-14 13:12:01 +08:00 via Android
    Juszoe
        10
    Juszoe  
       2022-09-14 13:27:26 +08:00
    跟李沐大佬,选 3090 ,个人研究要的是性价比
    kongkx
        11
    kongkx  
       2022-09-14 13:34:54 +08:00 via iPhone
    我也想矿卡
    jetyang
        12
    jetyang  
       2022-09-14 14:04:54 +08:00
    3080Ti
    agegcn
        13
    agegcn  
       2022-09-14 14:11:22 +08:00
    双卡 3090ti 基本够用。3090 显存散热有缺陷
    xz410236056
        14
    xz410236056  
       2022-09-14 14:15:33 +08:00
    禁售的不是这些吧,不卖的是 GPGPU 。你现在买游戏卡感觉会被宰,非刚需过段时间买呗
    qzwmjv
        15
    qzwmjv  
       2022-09-14 14:17:02 +08:00
    3090 吧,需要 48g 显存的任务,你用 a6000 也跑不动,得上集群了
    xz410236056
        16
    xz410236056  
       2022-09-14 14:18:10 +08:00
    @Morii #5 矿 3090 这么便宜的吗。心动了
    passerby233
        17
    passerby233  
       2022-09-14 14:23:13 +08:00
    听别人说美帝制裁芯片不针对游戏受众,只针对高性能计算的产品。
    28Sv0ngQfIE7Yloe
        18
    28Sv0ngQfIE7Yloe  
       2022-09-14 14:28:56 +08:00
    @xz410236056 #16 真玩家还是等 40 系把
    kerrspace
        19
    kerrspace  
    OP
       2022-09-14 14:32:56 +08:00
    @xz410236056 禁售的虽然不是这些 但是那些本来买高端科学计算卡的就被挤压到中低端市场来了啊 到时候至少会涨价的
    conhost
        20
    conhost  
       2022-09-14 14:35:42 +08:00
    @kerrspace 这个看你的需求了。如果要搞目前的大模型的话,当然首推更大内存的。但是虽然 3090 的计算速度不如 a6000 ,但是 a6000 也到不了 3090 的两倍,如果 24G 内存够的话,想要更快的话,还是推荐 3090 。此外,两张卡的话,你还可以一张用来调试,一张用来实验。colab 的话,就不用考虑了,pro 都只能分到 p100 ,pro+也只能分配到原来免费的 v100 。
    kerrspace
        21
    kerrspace  
    OP
       2022-09-14 14:37:51 +08:00
    @Morii 40 系等 CUDA etc 适配会等非常久的。。。不仅仅是等 40 系本身的时间。。。framework 更新的相对挺慢的 估计真的用上,各方面都稳定怎么也得一年半载的
    zznext
        22
    zznext  
       2022-09-14 14:39:09 +08:00
    3090ti 的 20g; cuda 数量多; N 卡对 tersorflow 处理更好。
    gam2046
        23
    gam2046  
       2022-09-14 14:44:06 +08:00
    不考虑一些云的方案嘛,毕竟这种设备更新换代很快。个人采购,资产又比较重。而且使用频率未必会很高。

    计算量未来必然是越来越大,现在亿级的计算规模是起步,过两年以后呢,也许是十亿、百亿才刚刚起步。
    Fantasia1993
        24
    Fantasia1993  
       2022-09-14 15:03:22 +08:00
    买 4080 吧~~还有几天而已
    AlexPUBLIC
        25
    AlexPUBLIC  
       2022-09-14 15:03:32 +08:00
    @kerrspace NLP 我 24 都够了,与其这样,你不如买三张 3090
    napsterwu
        26
    napsterwu  
       2022-09-14 15:23:45 +08:00 via iPhone
    个人用肯定买 gtx 吧
    napsterwu
        27
    napsterwu  
       2022-09-14 15:24:05 +08:00 via iPhone
    (说错了是 rtx )
    nekoneko
        28
    nekoneko  
       2022-09-14 16:52:38 +08:00
    专业显卡可以选 TeslaT4 , 不知道过时了没有
    ysc3839
        29
    ysc3839  
       2022-09-14 17:54:52 +08:00
    @nekoneko 印象中 T4 性能很差的吧?好像连 RTX2080 都比不上。
    asdf12303116
        30
    asdf12303116  
       2022-09-14 18:00:42 +08:00
    @ysc3839 #28 T4 性能很差的,2070 同核心, 还是个半高被动卡.这张卡只适合高密度推理环境部署
    h272377502
        31
    h272377502  
       2022-09-14 18:24:10 +08:00
    @nekoneko t4 一般用于部署,训练还是不推荐吧
    icyalala
        32
    icyalala  
       2022-09-14 18:37:22 +08:00
    如果要 3090 的话,在等几天呗,以太坊合并快要完成了
    longbye0
        33
    longbye0  
       2022-09-14 19:03:53 +08:00
    选 3090ti ,单面显存。

    早期 3090 有一些玩游戏都会烧显存的例子。
    radio777
        34
    radio777  
       2022-09-14 19:40:17 +08:00
    哪个显存大买哪个,深度学习对显存要求高,12G 的 3060 也可以的
    noahhhh
        35
    noahhhh  
       2022-09-14 19:43:19 +08:00 via Android
    40 系这个月就发布了
    newmlp
        36
    newmlp  
       2022-09-14 19:44:14 +08:00
    又不禁售游戏卡,禁售的是专业计算卡
    jZEdn7k4
        37
    jZEdn7k4  
       2022-09-14 20:18:09 +08:00
    和前面说的一样,不了解的话就跟着李沐选,错的概率很小,他是 MXNet 的作者,google scholar 引用都 1.3W 了,专门做 DL 框架和分布式计算的,这个论坛上比他对 DL+GPU 更专业的估计没有
    winglight2016
        38
    winglight2016  
       2022-09-14 20:52:44 +08:00
    不推荐在本地搭环境,除非还想打游戏。colab pro 我用过,哪怕低配都已经不错了,高配性能过剩。

    实在想玩一下环境配置,阿里云上申请个 k8s ,两个节点一年一两万吧,但是推荐按需付费,因为我觉得这种东西,没有实际需求,三分钟热度一过也就不会再碰了。
    geekvcn
        39
    geekvcn  
       2022-09-14 21:16:29 +08:00 via iPhone
    不可能禁售民用卡,除非打算让英伟达股价腰斩,不建议现在接盘,马上 eth 合并,矿卡全抛售,千万级别的量,新卡一样便宜。
    laqow
        40
    laqow  
       2022-09-14 22:47:00 +08:00
    感觉 3090 ,A 系列带宽窄一些
    SuperXX
        41
    SuperXX  
       2022-09-15 06:01:31 +08:00 via iPhone
    3090ti 公版 bestbuy ,可以低于 1000 刀一张
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5603 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 09:14 · PVG 17:14 · LAX 01:14 · JFK 04:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.