coala
V2EX  ›  问与答

国产显卡(摩尔线程)有可能跑大模型嘛 ?

  •  
  •   coala · Jun 5, 2024 · 2509 views
    This topic created in 715 days ago, the information mentioned may be changed or developed.

    不能的话, 主要问题在那里呢? 驱动层面吗?

    例如跑: https://huggingface.co/spaces/InstantX/InstantID

    显卡信息 S3000 https://www.mthreads.com/product/S3000

    5 replies    2024-06-06 04:25:47 +08:00
    haiku
        1
    haiku  
       Jun 5, 2024 via Android
    问他们客服可能比较直接,我记得有兼容 opencl 和 cuda ?
    coala
        2
    coala  
    OP
       Jun 5, 2024
    @haiku 问了下,感觉很难拿到什么有用的回答, 目前看来 还是 NVIDIA Tesla M40 或者 P40 比较合适。
    SkywalkerJi
        3
    SkywalkerJi  
       Jun 6, 2024
    好像是支持的,但是有点灰色地带。因为 nv 禁止第三方兼容 cuda ,只是摩尔线程不是 nv 主要打击目标所以也没啥事。
    lovestudykid
        4
    lovestudykid  
       Jun 6, 2024
    @SkywalkerJi #3 兼容 Windows 都没问题,兼容 cuda 应该也没啥问题吧,只要是 cleanroom 开发的
    ysc3839
        5
    ysc3839  
       Jun 6, 2024 via Android   ❤️ 2
    @SkywalkerJi @lovestudykid
    “兼容 CUDA”有两种兼容方式,一种是 API 级别兼容,需要重新编译代码来支持,AMD 的 ROCm 就是 API 级兼容 CUDA ,这是没问题的。
    还有一种是二进制级别兼容,现有的 CUDA 软件不需要重新编译就能兼容,这种是 NV 禁止的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3398 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 00:38 · PVG 08:38 · LAX 17:38 · JFK 20:38
    ♥ Do have faith in what you're doing.