V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
nidongpinyinme
V2EX  ›  硬件

预算一万五攒个深度学习的主机,有好哥哥来看看配置吗

  •  
  •   nidongpinyinme · 47 天前 · 5111 次点击
    这是一个创建于 47 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需求:放在实验室跑一些小模型的验证和代码调试,最终的训练会放到学习的服务器上。对灯光没有要求,越低调越好。
    从 B 站抄了一套配置,这是昨天的报价,包邮包安装
    想问一下这个价格现在看怎么样,如果等一等 618 会不会降下来一点
    还有 32G 内存有没有必要上 64
    第 1 条附言  ·  47 天前
    谢谢好哥哥们的建议,对硬件的选择有了更清晰的认识了:
    1. 不考虑二手,本身代码的问题就已经够头疼了,没有精力再去折腾可能存在的硬件问题
    2. 工作站由于几乎都推荐的二手,而且配套的 gpu 也不是很熟,暂时也不考虑,还是想配一个比较主流的机器,出了问题也好搜解决方案
    3. 显卡上败家之眼这个没明白,我理解的不是猛禽才带信仰吗,选的是 tuf
    4. 内存会在买的时候根据预算尽可能上个 64G
    第 2 条附言  ·  46 天前
    再次感谢各位老哥
    有一些人推荐云服务器的,这个暂时不考虑,学校里是有服务器可以免费用的,配置也还行
    还有很多人推荐了一些性价比更高的搭配路径,比如至强的 2680v4 、魔改的 2080ti ,看到很多人也收藏了这个帖子,如果你们有兴趣的话可以去试试
    就我个人而言,希望组一台比较主流的机箱,尽可能避免遇到一些奇怪的问题,毕业之后也能留下来继续打打游戏,起码五年内不会换机
    更新一下配置
    2024-05-06 10:40
    cpu:i5 14600kf (虽然不超频,但是似乎没看到不带 k 的 1949
    散热:雅浚 E6SE 139
    主板:华硕 tuf B760M PLUS (有老哥推荐 Z 系列,去查了一下也是超频玩法,但是铭瑄的 B760M 只卖 800 块,不知道区别在哪 1399
    内存:金百达 银爵 64G (用的是海力士 A die 颗粒 1399
    固态:三星 990PRO 2T (这个看最终剩下的预算了,比之前选的宏碁贵了一倍 1549
    显卡:8500 块左右的 4080s ,大概率七彩虹
    机箱:199 左右的需要推荐,不清楚兼容性怎么确定
    电源:推荐的长城和原配置里的海盗船 850w 都是 799
    这样一套下来是 15933 ,剩下 66 块买个 KFC 套餐吃完猛猛装,15999 的预算也是一万五
    90 条回复    2024-05-28 21:38:25 +08:00
    zhandouji2023
        1
    zhandouji2023  
       47 天前 via Android
    为什么不买工作站?
    herozzm
        2
    herozzm  
       47 天前
    没有 4090 差评
    nidongpinyinme
        3
    nidongpinyinme  
    OP
       47 天前
    @zhandouji2023
    @herozzm 我没有钱
    xhuuanniqege
        4
    xhuuanniqege  
       47 天前 via Android
    这个主板好像不能超频,你买带 K 的 cpu 用不上吧
    zhandouji2023
        5
    zhandouji2023  
       47 天前 via Android
    二手 hp z840 内存加满
    mythabc
        6
    mythabc  
       47 天前
    @nidongpinyinme 没有钱还上败家之眼?
    zhangshine
        7
    zhangshine  
       47 天前
    按理来说商家 618 前夕都会涨价一波,这个节点确实尴尬😅
    NoOneNoBody
        8
    NoOneNoBody  
       47 天前
    内存不够
    Inn0Vat10n
        9
    Inn0Vat10n  
       47 天前
    内存加到 256 或者 512
    TomDu
        10
    TomDu  
       47 天前
    哪有败家之眼,不是 tuf 么?
    paranoiagu
        11
    paranoiagu  
       47 天前 via Android
    搞个服务器平台如何?二手金牌 6138 这种 ,加上 tesla 计算卡
    LiJie
        12
    LiJie  
       47 天前 via Android
    二手工作站吧。内存能上到更高容量。a 系列显卡
    NI3TECH
        13
    NI3TECH  
       47 天前
    显卡上四张 2080TI 22G
    NI3TECH
        14
    NI3TECH  
       47 天前
    我 13600KF 64G 内存 3060TI 8G 跑 svc ,sd ,chatglm 还可以
    NI3TECH
        15
    NI3TECH  
       47 天前
    推断的时候真是 64G 内存都不够
    uncat
        16
    uncat  
       47 天前 via iPhone
    B 站瓜皮群主,了解一下
    nidongpinyinme
        17
    nidongpinyinme  
    OP
       47 天前
    @xhuuanniqege 是的,基本也不会超频用,但是好像没看到不带 k 的合适的 cpu ,大哥有推荐吗
    nidongpinyinme
        18
    nidongpinyinme  
    OP
       47 天前
    @zhandouji2023 搜了一下,带的显存好小
    nidongpinyinme
        19
    nidongpinyinme  
    OP
       47 天前
    @mythabc 没上猛禽啊,不然显卡选啥,七彩虹吗
    nidongpinyinme
        20
    nidongpinyinme  
    OP
       47 天前
    @zhangshine 也不是很着急,可以 618 买,就是不确定行情
    nidongpinyinme
        21
    nidongpinyinme  
    OP
       47 天前
    @NI3TECH 2080ti 好是好,但是搜了一下都是二手的啊
    nidongpinyinme
        22
    nidongpinyinme  
    OP
       47 天前
    @uncat 好的哥
    nidongpinyinme
        23
    nidongpinyinme  
    OP
       47 天前
    @paranoiagu 本身对常规配置就不是很熟,这俩硬件更是没碰过,再叠上二手 buff ,怕是要踩一路坑哦
    nidongpinyinme
        24
    nidongpinyinme  
    OP
       47 天前
    @LiJie 先不考虑二手了,风险有点高,而且 cuda 是硬性要求,a 卡拿来跑怕是还得做好多适配
    kaleido
        25
    kaleido  
       47 天前
    我看最近都说,13600kf 性价比还行,而且 14600kf 提升不大,如果跟 146 差价 200 以上就可以考虑 13 代了,省下的几百加内存,对你很有用吧
    nidongpinyinme
        26
    nidongpinyinme  
    OP
       47 天前
    @kaleido 好的哥,正在考虑从哪抠点预算出来加内存
    mythabc
        27
    mythabc  
       46 天前
    @nidongpinyinme 主板换成微星、技嘉的,显卡换成技嘉、七彩虹或者其他二线品牌的,能省一千块。FC140 没必要买全新的,我去年闲鱼收了一个,一百多。把能省的钱省一省,再咬咬牙,上 4090D 。
    hiphooray
        28
    hiphooray  
       46 天前
    跑啥类型的任务? 16G 显存 OK 嘛?
    nidongpinyinme
        29
    nidongpinyinme  
    OP
       46 天前
    @hiphooray 图像处理的,机器就拿来跑一下验证,正儿八经训练还是放服务器上
    paopjian
        30
    paopjian  
       46 天前
    2080ti 22g 都是改的,没有新卡了肯定是二手的. 没必要买败家之眼, 去年双十二我 13700KF+Z790P 3448 pdd 下来了
    nidongpinyinme
        31
    nidongpinyinme  
    OP
       46 天前
    @mythabc 这个牙很难咬啊,4090D 一万三起步了,这预算得干到两万去了吧
    nidongpinyinme
        32
    nidongpinyinme  
    OP
       46 天前
    @paopjian 我是琢磨硬件水太深,显卡能新就新,不然我也不咋会验机啥的。9000 块的 80s 其实还行,我在京东上看也都要 9000+了,自己组的话就选技嘉或者微星,买他的整机就不换显卡了
    frankyzf
        33
    frankyzf  
       46 天前
    看苹果官网,32G 翻修的最低不到 13000 , 会不会更有性价比?
    hertzry
        34
    hertzry  
       46 天前
    你就老老实实服务器搞吧。

    二手工作站便宜大碗还有专业卡,怎么说也有 8 个内存插槽,配上 24G 的 3090 ,你不考虑。扣扣嗖嗖的用 32G 内存,内存显存不加起来,你到时候还要花时间优化数据加载,图什么。机械硬盘也没有,你不怕固态挂了吗,2T SSD 挂载个 tmp 目录读零碎数据差不多,真用几天数据越来越多根本不够用。
    nidongpinyinme
        35
    nidongpinyinme  
    OP
       46 天前
    @frankyzf 我现在用的就是 mac ,cuda 没法用搞烦了
    nidongpinyinme
        36
    nidongpinyinme  
    OP
       46 天前
    @hertzry 二手工作站+30 系默认矿,不会整出来太多坑吗,我这不是拿来训练的啊,学校里有服务器可以用,本地调调代码跑跑验证就行
    EndlessMemory
        37
    EndlessMemory  
       46 天前
    CNN 真太搞了,不使用迁移学习的话,训练起来资源消耗量太大了
    bugu1986
        38
    bugu1986  
       46 天前 via iPhone
    我刚整完 双 3090 128g 30000
    frankyzf
        39
    frankyzf  
       46 天前
    @nidongpinyinme 记得 mac 有自己的一套技术和 cuda 对应,好像叫 Apple Metal 什么的,是不兼容吗?
    nidongpinyinme
        40
    nidongpinyinme  
    OP
       46 天前
    @bugu1986 超了超了,暑假还要出去玩呢
    nidongpinyinme
        41
    nidongpinyinme  
    OP
       46 天前
    @frankyzf mps ,得改很多配置,主流代码都是 cuda 不行就直接用 cpu 的,好多还必须要 cuda ,而且 mps 也没快多少……
    frankyzf
        42
    frankyzf  
       46 天前
    @nidongpinyinme 谢谢 op ,因为需要测试加载和 fine-tuning 7b 的模型,之前还想用 mac 来代替 nvidia 的 cuda ,看来比较困难。
    frankyzf
        43
    frankyzf  
       46 天前
    不过这显卡也真贵啊,16G 就需要 9000 ,估计我自己想试只能暂时租显卡了,等选择多了价格合适再考虑买。
    LiJie
        44
    LiJie  
       46 天前 via Android
    @nidongpinyinme 工作站都是 99 新,清明刚买,我说的 a 系列是 nv 的 a 系列。不到 3000 元可以买到戴尔 t5810 ,就是全新的,64G x 2 内存,2680v4
    mikywei
        45
    mikywei  
       46 天前
    我是装机高手,这个配置说实话杂牌很多,价格高了,建议换下:
    内存:推荐闪存颗粒原厂的品牌,三星、英睿达(镁光)、科赋(海力士);金百达垃圾杂牌。
    SSD:一样推荐原厂,基本代表着最高水平,三星、铠侠(东芝)、西数、致钛(长江存储),宏碁垃圾杂牌。
    散热器:风冷基本拉不开差距,剩下的钱都花在静音和灯光上;推荐雅俊 E6 才 139 块钱,压 i5 妥妥的.
    电源:海韵、长城的电源都不错,海韵是做服务器电源的但溢价高,长城是老厂家了现在是国企收购了。
    主板:这个价格可以买 Z 系列主板了,及时不超频默认频率也比 B 系列高;便宜的推荐白色的铭瑄 MS-终结者 Z790M 和技嘉 Z790M 小雕/冰雕,价格都在 1399 左右。
    机箱:你喜欢就好 199 的选择就很多
    winglight2016
        46
    winglight2016  
       46 天前
    这预算上云啊,足够用个两三年了
    gransh
        47
    gransh  
       46 天前
    我去年看三星好的 SSD
    nidongpinyinme
        48
    nidongpinyinme  
    OP
       46 天前
    @frankyzf #43 是的,年底不是说 50 系要出了吗,不急可以等等
    gransh
        49
    gransh  
       46 天前
    楼上没敲完发出去了:我去年看好的三星 SSD 才 3000MB/S ,今年都发展到 7200MB/S 了?
    yplam
        50
    yplam  
       46 天前 via Android   ❤️ 1
    建议留位置加 4T 或者 8T 的机械盘,一个模型几十 G ,SSD 很快就会满
    CatCode
        51
    CatCode  
       46 天前   ❤️ 1
    朋友前段时间配的,供参考。
    14700KF 盒装、微星 Z790 A MAX 主板、瓦尔基里 280 水冷、佰维 6400MHz 32G ( 16G*2 ) DDR5 内存、4080 Super 魔鹰显卡、振华 850W ATX3.0 电源
    固态、机箱自己选吧,还额外装了 4 把机箱风扇
    nidongpinyinme
        52
    nidongpinyinme  
    OP
       46 天前
    @mikywei #45 内存和硬盘价格一下就拉上来了呀哥哥,超预算了
    nidongpinyinme
        53
    nidongpinyinme  
    OP
       46 天前
    @winglight2016 #46 不想毕业除了几坨屎山啥也不剩
    nidongpinyinme
        54
    nidongpinyinme  
    OP
       46 天前
    @gransh #49 每年翻一番很合理
    nidongpinyinme
        55
    nidongpinyinme  
    OP
       46 天前
    @yplam #50 好的
    nidongpinyinme
        56
    nidongpinyinme  
    OP
       46 天前
    @CatCode #51 这一套配置我感觉上不去,预算超太多
    CatCode
        57
    CatCode  
       46 天前
    @nidongpinyinme 别去 JD 买显卡 然后看看板 U 套 应该问题不大
    nidongpinyinme
        58
    nidongpinyinme  
    OP
       46 天前
    @CatCode #57 那去哪买啊,不都推荐 JD 吗
    Yuhyeong
        59
    Yuhyeong  
       46 天前
    显存太小,以后碰到稍微大一些的模型或训练会很痛苦
    CatCode
        60
    CatCode  
       46 天前
    @nidongpinyinme JD 显卡溢价太高,除非你能抢到原价公版卡
    显卡就去淘宝找找呗
    dahaoyoubeifeng
        61
    dahaoyoubeifeng  
       46 天前
    内存肯定不够啊。。。
    nidongpinyinme
        62
    nidongpinyinme  
    OP
       46 天前
    @CatCode #60 好的我去淘宝也看看
    nidongpinyinme
        63
    nidongpinyinme  
    OP
       46 天前
    @Yuhyeong #59 只能安慰自己大模型放服务器上跑了
    nidongpinyinme
        64
    nidongpinyinme  
    OP
       46 天前
    @dahaoyoubeifeng #61 32 不够还是 64 不够?
    quanzan
        65
    quanzan  
       46 天前
    需要这么折腾吗?我买了一个 RTX 3090 的整机,目前在做 LLM 的服务器用,详细请参考全赞工程师公众号。
    charslee013
        66
    charslee013  
       46 天前
    如果只是跑一些小模型或者作业之类的,我更加推荐用云 GPU 更划算

    以 autodl 里的 4090 为例子,CPU 是 12 核 Xeon(R) Platinum 8352V,内存是 90GB ,每周的价格为 342 元,一个月下来优惠价格是 1276 元,一年也就 13176 元,这个价格比 1 万 5 的主机还要便宜一些

    而且考虑到实验室有专门的机器来跑正式的作业,云上 GPU 在不运行的时候可以关掉更加省钱,并且显存不够还可以换其他机型这个是本地无法比较的优势

    当然以上都是建议,希望能帮助上 OP 的需求。
    osilinka
        67
    osilinka  
       46 天前
    Intel 换 AMD 类似的吧,感觉 intel 现在性价比很低很低了
    mumbler
        68
    mumbler  
       46 天前
    做任何关于 AI 的事,显存大小都是关键,核心数量没有显存重要,16G 能干的事太少了。我 4000 多配了一台洋垃圾 E5 18 核心+64G 内存+2080ti 22G ,跑模型比你这台性能强。代码有 gpt4 ,谁还手动写
    waklealone
        69
    waklealone  
       46 天前
    @mikywei 金百达银爵用的也是海力士 A-Die 颗粒,差别不大的
    hidder
        70
    hidder  
       46 天前   ❤️ 1
    @nidongpinyinme #24 a 系列显卡不是 amd 显卡
    fuwenpei
        71
    fuwenpei  
       46 天前
    4080super 好价 8300 一般 8500 ,你这都 9k 了
    nidongpinyinme
        72
    nidongpinyinme  
    OP
       46 天前
    @charslee013 #66 主要是配的主机毕业了还能接着用,租的服务器用完就没了
    fredweili
        73
    fredweili  
       46 天前
    谁出钱?必须要买么? 32G 能跑的大模型也不怎么样
    nidongpinyinme
        74
    nidongpinyinme  
    OP
       46 天前
    @fuwenpei #71 好的,这个价格是七彩虹的吗
    nidongpinyinme
        75
    nidongpinyinme  
    OP
       46 天前
    @mumbler #68 好哥哥抄个配置
    nidongpinyinme
        76
    nidongpinyinme  
    OP
       46 天前
    @fredweili #73 自己买自己用,没说要在本地跑大模型啊
    nidongpinyinme
        77
    nidongpinyinme  
    OP
       46 天前
    @LiJie #44 谢谢哥,有推荐链接吗,淘宝看了一圈没有价格对得上的
    cexll
        78
    cexll  
       46 天前
    内存太低了 32G 不够的 其次就是硬盘要求也挺高的 最好买稳定 速度快的,这个配置玩游戏还可以
    其实如果是短期玩,可以直接订阅 google colab
    nidongpinyinme
        79
    nidongpinyinme  
    OP
       46 天前
    @cexll #78 是的, 更新了配置,给内存加到 64 了
    fuwenpei
        80
    fuwenpei  
       46 天前   ❤️ 1
    @nidongpinyinme 是,入门非盖的,比如 ultra w oc 这个水平,40 系比 30 的能耗低很多,不用堆料太高级
    nidongpinyinme
        81
    nidongpinyinme  
    OP
       45 天前
    @fuwenpei #80 好的
    hjb
        82
    hjb  
       45 天前
    我也计划 618 整一台,显卡选 4070ti super ,
    hiphooray
        83
    hiphooray  
       45 天前
    @nidongpinyinme 啊,那真是羡慕了,我推理还只能用 3060
    nidongpinyinme
        84
    nidongpinyinme  
    OP
       45 天前
    @hjb #82 我也在犹豫,显卡上砍下来一点可以把存储拉高一点
    man2vec
        85
    man2vec  
       44 天前
    16G 显存,跑个 8B 的 LLM 都跑不动,更别说训练了。
    还不如搞个 64GB 内存的 mac 啥的。
    nidongpinyinme
        86
    nidongpinyinme  
    OP
       44 天前
    @man2vec #85 你是真不看需求文档啊
    man2vec
        87
    man2vec  
       44 天前
    @nidongpinyinme #86
    真有这个必要吗?学校延迟超低的吧,vscode 之类的用 remote server 就直接可以在服务器上写代码调试之类的。难道你们计算资源用 slurm ?
    nidongpinyinme
        88
    nidongpinyinme  
    OP
       44 天前
    @man2vec #87 学校的服务器每次用需要提前申请,还要排队什么的,不太方便
    xiaobox
        89
    xiaobox  
       41 天前
    @mikywei 老哥我最近也想装机,能不能留个邮箱咨询一下
    lchynn
        90
    lchynn  
       23 天前
    @nidongpinyinme #63 你大模型是跑 10B 以下的还是 70B, 110B 这种的? 如果是后 2 者, 你就是量化 Q4 ,你这个显卡也推理起来够呛, 如果是只有几个 B 的,比如 GEMMA, PHI3 这种的。 拿 AMD 8845 或者 INTEL ULTRA 核显都推理的飞快。 如果你要微调大模型( SFT )? 我觉得消费级显卡,基本没啥关系吧, 哪怕你买了 4090 ,也够呛。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5030 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 07:57 · PVG 15:57 · LAX 00:57 · JFK 03:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.