frankyzf
V2EX  ›  Local LLM

有支持 6000 Ada 使用 deepseek v4 flash 推理 的框架吗

  •  
  •   frankyzf · 4 days ago · 1963 views

    显存是够的(多卡),但架构有限制( SM_89 )

    7 replies    2026-06-22 16:56:02 +08:00
    wwhc
        1
    wwhc  
       4 days ago
    等 llama.cpp 合并 Deepseek v4 的补丁到主线吧
    ETiV
        2
    ETiV  
       4 days ago via iPhone
    BaiLinfeng
        3
    BaiLinfeng  
       4 days ago
    还是那句话 Deepseek 被神话了,我感觉也就那样
    gpt5
        4
    gpt5  
       4 days ago
    公司有几张这卡,显存是可以,但架不住慢啊。
    lifechan
        5
    lifechan  
       3 days ago via Android
    @gpt5 有就可以了……能讓我蹭蹭嗎
    WizardLeo
        6
    WizardLeo  
       2 days ago
    @BaiLinfeng
    历史地位这一块,deepseek-r1 让开源模型全面进入推理时代,v4 让开源模型全面进入 1m 上下文时代。
    商业能力这一块,我感觉和小米在小家电的地位差不多。作为市场最低门槛线而存在的模型,比它差还贵就没多少存在意义了。
    无论如何都是开源 llm 历史上非常浓墨重彩的一款模型。
    coefu
        7
    coefu  
       22h 41m ago
    @BaiLinfeng deepseek 的意义在于,不在硅谷,也能搞的出和硅谷扳扳手腕的 LLM ,祛魅之前对硅谷的亦步亦趋。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5478 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 07:37 · PVG 15:37 · LAX 00:37 · JFK 03:37
    ♥ Do have faith in what you're doing.