spikedingo
V2EX  ›  Local LLM

想上手本地 llm,m3max 128gb 内存有没有什么适合和推荐的玩法?

  •  
  •   spikedingo · 12h 39m ago · 654 views

    如题,请各位大佬推荐推荐,测一测日常的编程任务、以及跑一跑本地模型的推理、分析等任务

    可能也会玩一玩生图

    2 replies  •  2026-11-15 21:48:00 +08:00
    awah
    awah
    10h 11m ago
    1
    同款, 目前是用 mtplx 跑 qwen3.8-next, 大概 50 tps. 但是真干活还是 Codex 快一点, 本地 pre fill 不行
    hackyuan
    hackyuan
    10h 2m ago
    2
    推广下自己的项目 https://github.com/useLexora/Lexora ,目前已经支持本地模型的部署和直接使用了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1172 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 23:50 · PVG 07:50 · LAX 15:50 · JFK 18:50
    ♥ Do have faith in what you're doing.