求助,我笔记本的 4060 跑 语言模型很困难吗?

69 天前
 kevan

笔记本是泰坦 17 4060 ,cpu 14700hx 20 核 28 线程,内存 16gb ;

用的软件 LM STDUIO ,语言模型是 B 站的:Index-1.9B-Chat-GGUF 16bit 4GB 版本。

加载模型勾选了 GPU 执行起来,测试提问观察、笔记本 CPU GPU 都是满负荷运行。

但是软件输出的流信息很慢,。模型换成 4bit 1GB 版本后响应飞快。

有人知道是机器不行吗?

1041 次点击
所在节点    Local LLM
1 条回复
chronos
69 天前
LM STUDIO 有设置 GPU 加载的层数的,如果加载的少了性能就差了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1080069

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX