littlemis
V2EX  ›  Local LLM

请问此配置如何加速 ollama ds-r1 32b 的速度,好慢

  •  
  •   littlemis · Mar 18, 2025 · 1329 views
    This topic created in 424 days ago, the information mentioned may be changed or developed.

    请问此配置如何加速 ollama ds-r1 32b 的速度,好慢

    五分钟才生成以下图片回答 image windows 利用情况 image nvida 版本 : 24.21.13.9793 GPU : NVIDIA Quadro P2000 内存 image

    jr55475f112iz2tu
        1
    jr55475f112iz2tu  
       Mar 18, 2025
    你先把驱动改成 Studio 驱动 试试
    littlemis
        2
    littlemis  
    OP
       Mar 18, 2025
    @czfy 大老,我查看 https://www.nvidia.com/en-us/drivers/details/241085/ 好像没有 studio 驱动,请问是我找的方式不对吗
    tool2dx
        3
    tool2dx  
       Mar 18, 2025 via Android
    你这显存完全没有动起来,都是 CPU 在推理,肯定慢的。
    换 m40 显卡,买二手的几百块,显存够大够用。
    littlemis
        4
    littlemis  
    OP
       Mar 18, 2025
    https://zhuanlan.zhihu.com/p/645580165
    我用 nvidia-smi -dm 0 -i 0 设置成 WDDM 模式,速度加快了!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2913 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 06:28 · PVG 14:28 · LAX 23:28 · JFK 02:28
    ♥ Do have faith in what you're doing.