 |
1
0x2CA 4 天前
Ollama 还没有上 v3 ，最高 deepseek-v2.5 ，而且依照要求内存要求很高，只能运行入门款，效果也不好
|
 |
2
wangshushu 4 天前
别说 M1 ，M4 也搞不定啊，那可是 671B ！激活参数 37B ，算力应该是够了，内存远远远远不够，拉倒顶配也不够
|
 |
3
neteroster 4 天前 via Android
想多了，Q4 都要几百 G 内存
|
 |
4
LeeEnzo 4 天前  1
...api 便宜直接调用 api
|
 |
5
goodblue 4 天前
你真的知道 V3 是啥吗?
|
 |
6
TimPeake 4 天前
好像需要 64GRAM/GPU A100 起步
|
 |
7
JeffreyZhuang 4 天前 3
8 台 64G 的 mini 可以，老外已经实验过了 ：aHR0cHM6Ly9ibG9nLmV4b2xhYnMubmV0L2RheS0yLw==
|
 |
8
joequan 4 天前
不太可能，671B ，内存就要将近 1t ，就算勉强运行，速度贼慢，也没有用处
|
 |
9
erxiao 4 天前
很难。而且本地模型效果和在线的差太远了。运行的机器都不一样，不管是 M 系列芯片还是 4090 ，都是民用级别，不是 A100 这种工业级别的
|
 |
10
otakustay 4 天前
V3 要 20 块 80G 显存的 A100 才能部署，个人电脑就别想了
|
 |
12
lifehz OP 确实没弄明白 deepseek v3 ，如果号称最省资源的都要这么多资源，那是没机会玩本地模型了
|
 |
13
spike0100 3 天前
2.5 都跑不起来。2 的 3b 模型效果一般。
|
 |
14
YooboH 3 天前
@lifehz 他是训练省资源，但是这个模型本身就很大，而且只放出了 600 多 b 版本的，所以你本地部署的内存要求很高。你要想本地部署可以用那些 7b 、13b 版本的，但是效果大概不咋样
|
 |
15
mumbler 3 天前
gpt4o-mini 只有 8B 参数，意味着以后本地能跑 gpt4o-mini 模型，能力足够了，10B 以上模型都是服务器集群用的
|
|
17
lifehz OP 对了，为什么提这个问题，是因为机器之心 昨天发的文章
https://mp.weixin.qq.com/s/ac3E1roCv8uSVYVKZ84E1w 第二条是这么说的： 一些 GPT-4 级模型可以在笔记本电脑上运行 想了一下，似乎 “可以在笔记本电脑上运行” 和 “搭 deepseek v3” 不是一回事，但我的意思还是 “运行” gpt-4 级模型 尤其是 deepseek v3 出来大火后，更好奇想了解能不能在我的 mac air m1 上运行了 |
 |
19
ShadowPower 2 天前
@mumbler GPT-4 之后的模型 OpenAI 官方已经不公布参数量了，只是网友根据生成速度来推测的……
只能说激活的参数量是 8B ，但是每次输出时激活的是模型中不同部分的 8B 。 就像 DeepSeek V3 的激活参数量有 32B ，而整个模型有 671B 一样。 |
 |
20
flyws 1 天前
Deepseek v2.5 或者 Qwen 这些目前本地更有戏，这些在排行榜上我记得都接近老的 GPT-4 ，不过即使 Q4 的话大概都需要 8 ～ 10G 内存，所以其实现在 Macbook 统一显存内存后，运行 LLM 最大的卡点还是到底有多少内存，想玩遍主流各种大模型的话，最好还是拉满 128G ，至少也得有个 16G ，不然大多数模型都跑不起来。
本地跑 LLM inference 还是很有意思的，比如高铁或者飞机上想写点代码但是网络不稳定，那本地有个 Deepseek 2.5 级别的编程助手已经是很提升效率了。 建议楼主可以下载个 LM Studio https://lmstudio.ai ，方便自己开始研究实操这些 |
Select Language