Mac 上有哪些适合本地运行的 llm 呢

222 天前
 sheller

用的是 LM studio ,模型 qwen1.5 、mistral 7b 、gemma 2b 都很流畅,但是想使用 gemma 7b 的时候几乎不可用,CPU 超过 100%,RAM 超过 20GB 。

机器配置:M1 MAX ,32GB

想问下大家,这个配置适合本地运行的模型还有哪些呢?主要用于日常 chat 和总结笔记时使用。

1122 次点击
所在节点    问与答
4 条回复
mumbler
222 天前
本地 LLM 不太适合总结这类任务,因为当前 cpu 推理,prompt 评估时间很长,通俗的说,本地 LLM 阅读 prompt 的速度大约只是生成速度的 2 倍,而 GPU 跑 LLM 可以秒读长 prompt ,GPT4 阅读速度可以达到 2800token/s 。

intel ,amd ,apple 现在都在发力 AI PC ,CPU 推理后面应该会得到优化
sheller
221 天前
@mumbler 感谢解答,看来还是只能用在线的
SuperMari0
221 天前
最近在 M2 Mac Mini 上用 ollama 跑的 Qwen-7B 效果还不错, 可以尝试下
sheller
221 天前
@SuperMari0 我也有在用 qwen1_5-7b-chat-q5_k_m.gguf ,总结 obsidian 里的笔记(插件是 copilot )还不错

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1028625

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX