mdcaqr
V2EX  ›  Local LLM

5060ti16g 跑 Qwen-32B

  •  
  •   mdcaqr · Dec 12, 2025 via Android · 1976 views
    This topic created in 160 days ago, the information mentioned may be changed or developed.
    推理速度有多快?御三家云 Ai 够满足我的一般需求,就是想自己玩玩?
    5 replies    2026-03-19 05:33:56 +08:00
    defaw
        1
    defaw  
       Dec 12, 2025
    32b q4km 再加上 32k 上下文都得 32g 吧,16g 怎么跑
    jhytxy
        2
    jhytxy  
       Dec 12, 2025 via iPhone
    16g 跑不了
    wwhc
        3
    wwhc  
       Dec 13, 2025
    试试 gpt-oss-20b ,推理速度很快,16G 的显卡就能装入完整的 128k 上下文长度
    mdcaqr
        4
    mdcaqr  
    OP
       Dec 14, 2025 via Android
    @wwhc 好的
    adbseell3
        5
    adbseell3  
       Mar 19
    @wwhc 能越狱么, 我看 Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive 这款可以😅
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5343 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 05:53 · PVG 13:53 · LAX 22:53 · JFK 01:53
    ♥ Do have faith in what you're doing.