有用 Mac 跑 deepseek 模型的么,效果怎么样,有坑没有

26 天前
clear  clear

看到有人评论,说 9G 内存就够跑 Qwen 14B 了,效果直逼 o1mini ,高配 32B 都可以跑。

求证一下,有没有大佬已经上手了,感觉怎么样。

6504 次点击
所在节点   Apple  Apple
35 条回复
spike0100
spike0100
26 天前
本地模型出错率还是挺高的。问了下中国历史上的首都都有哪些,啪啪啪 think 了一堆,但是最后回答的几个朝代没一个对的。但是官网的回答是没错的。
vipviphaha
vipviphaha
26 天前
9g 内存跑 14b ,速度不行
0619
0619
26 天前
M1 Max 64G 32b 速度可以用,70b 速度非常慢
0619
0619
26 天前
@spike0100 32b 回答没问题
tanrenye
tanrenye
25 天前
试了一下 7b ,不太行的感觉,还有混着英文来回答,估计要 14b 以上会好一点,不如 qwen2.5 的 7b
windirt
windirt
25 天前
16G M1 Pro ,关掉所有 app 能跑 14B
jiuzhougege
jiuzhougege
25 天前
32G 内存跑 32B, 20G 的模型文件,无压力
GabrielleBellamy
GabrielleBellamy
25 天前
128gb 内存跑 32b 中。
hearlessnor
hearlessnor
25 天前
@windirt 速度如何,回答质量如何?
pricky777
pricky777
25 天前
16G 的 M2 跑 7b ,错误挺多的,跑 14b 的话内存直接炸了,结果也没好到哪里去
neilxu
neilxu
25 天前
与楼上不同,我 16G 的 M1 ,ollama 跑 14b ,速度不慢,内存占用 12G ,回答质量和速度都可以,问的是苏联和蒙古的历史问题,跟 ds 官网的答案差不多,没有明显减少字数。
就是 air 没风扇,输出的时候温度 88-90 度,输出完就降温了。
zeyangstudies
zeyangstudies
24 天前
跑了 32b 的 4bit 量化的 mlx 版本,感觉挺好用~
skylha
skylha
24 天前
@zeyangstudies 老哥你是啥配置?有比直接跑 7b 效果好吗?
zeyangstudies
zeyangstudies
23 天前
@skylha 我的是 48g 的 M3 ,没试过 7b 的诶
18m
18m
23 天前
@skylha 同关注
sunmker
sunmker
23 天前
@spike0100 我也是,本地跑 1.5B 和 7B 都不太行,不如通义千问。官网的确实还可以的
hiiragiharunatsu
hiiragiharunatsu
23 天前
m4 的丐版 16+256 跑 14b 大概 9tok 蹦字很慢 效果也不好 thinking 时间巨长 感觉还不如 8b 那个舒服
idlerlestat
idlerlestat
23 天前
蒸馏版 14b 在 16G m3 air 上跑问题不大
至于完全版的,真想在 mac 上跑的估计要这样
https://x.com/exolabs/status/1872444906851229814
sheller
sheller
23 天前
@zeyangstudies 求个链接,谢谢
wsbqdyhm
wsbqdyhm
22 天前
@0619 #3 配置一样,32b 和 70b 我都安装了,可以接受。ds 真的好很多,国内妥妥的第一,中文也比免费版的 chatgpt 强,付费版没有试过

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1108075

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX