weishao666
V2EX  ›  问与答

哪里可以看到 nvidia 服务器 GPU 性能的天梯图

  •  
  •   weishao666 · Jun 26, 2024 · 2311 views
    This topic created in 860 days ago, the information mentioned may be changed or developed.

    我们用显卡只做大模型的推理,请教: 在这个场景下,以下常见的几个卡哪里可以看到统计对比,包括基本参数的对比,比如显存、架构等,然后比较下性能,最好是能排个序出来,比如 A100 ≈ A800 > A40 > A10 > > L20 > L40 > H800 > V100 > T4 ?(我乱排的,实际的性能顺序是怎样的呢)

    5 replies  •  2024-06-26 18:03:37 +08:00
    sunmacarenas
    sunmacarenas
    Jun 26, 2024
    1
    这种不就是预算内选最贵的就可以了么
    dapang1221
    dapang1221
    Jun 26, 2024
    2
    好像还真没见过计算卡的天梯,可以去 autodl 或者各种云上找一找各种机型的价格,按价格排序试试?
    paopjian
    paopjian
    Jun 26, 2024
    3
    主要是还和显存 位宽 是否支持 nvlink 有关系, 推理就看看显存和 FP16/INT8 参数吧,
    zictos
    zictos
    Jun 26, 2024
    4
    刚回错帖了,具体回复在这个帖子的 3 楼:
    https://www.v2ex.com/t/1052822
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1558 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 18:05 · PVG 02:05 · LAX 10:05 · JFK 13:05
    ♥ Do have faith in what you're doing.