V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
littlemis
V2EX  ›  问与答

请问 AI 企业级服务器 (服务公司 100 人) 建议

  •  
  •   littlemis · 49 天前 · 1503 次点击
    这是一个创建于 49 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前 AI 主要用 qwen3:32b 想用到 qwen3:235b 请问 AI 服务器的品牌、规格建议 谢谢!

    13 条回复    2025-06-02 18:05:59 +08:00
    tool2dx
        1
    tool2dx  
       49 天前
    等 7 月份买全新的 intel 24G GPU ,一张 3600 元,买 4 张就能用了。
    xtreme1
        2
    xtreme1  
       49 天前
    9355 双路, 64Gx24 ddr5, 5090, ktransformers
    硬件大概 10w
    xtreme1
        3
    xtreme1  
       49 天前
    大概 20t/s
    tool2dx
        4
    tool2dx  
       49 天前
    @xtreme1 企业内部自用没必要用 5090 那么好的,又不是招标。
    xytest
        5
    xytest  
       49 天前
    后期如果涉及到微调这些 就要好好考虑显卡了
    xtreme1
        6
    xtreme1  
       49 天前
    @tool2dx #4
    比你臆想的 b580 24g 应该是强不少, 起码宇宙里存在
    tool2dx
        7
    tool2dx  
       49 天前
    @xtreme1 intel 24g 说是 7 月份就开卖了,等等呗。你买 5090 也需要从国外进货,国内新品也买不到。
    lqw3030
        8
    lqw3030  
       49 天前
    @xtreme1 #3 我们过来的经验,20 个远远不够,200token 每秒起步才有办法应付企业复杂场景
    coefuqin
        9
    coefuqin  
       49 天前
    你目前资源的 20 倍就行了,只怕你搞不定分布式推理。
    terranboy
        10
    terranboy  
       49 天前
    100 人的并发有 20 个吗 请把 5090X20
    inorobot
        11
    inorobot  
       49 天前 via iPhone
    24G 八卡或 48G 四卡方案
    goodryb
        12
    goodryb  
       49 天前
    起码得说清楚是做什么用吧,推理还是要做模型微调,这两个对性能要求是完全不一样的
    littlemis
        13
    littlemis  
    OP
       45 天前
    谢谢大佬们 我等下 intel 24g
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5241 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 08:13 · PVG 16:13 · LAX 01:13 · JFK 04:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.