请问此配置如何加速 ollama ds-r1 32b 的速度,好慢

12 天前
littlemis  littlemis

请问此配置如何加速 ollama ds-r1 32b 的速度,好慢

五分钟才生成以下图片回答 windows 利用情况 nvida 版本 : 24.21.13.9793 GPU : NVIDIA Quadro P2000 内存 imageimageimage

507 次点击
所在节点    Local LLM
4 条回复
czfy
12 天前
你先把驱动改成 Studio 驱动 试试
littlemis
12 天前
@czfy 大老,我查看 https://www.nvidia.com/en-us/drivers/details/241085/ 好像没有 studio 驱动,请问是我找的方式不对吗
tool2dx
12 天前
你这显存完全没有动起来,都是 CPU 在推理,肯定慢的。
换 m40 显卡,买二手的几百块,显存够大够用。
littlemis
12 天前
https://zhuanlan.zhihu.com/p/645580165
我用 nvidia-smi -dm 0 -i 0 设置成 WDDM 模式,速度加快了!

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1119345

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX