mac air m1 能搭 deepseek v3 吗？

[lifehz]

有人试过么？

[0x2CA]

Ollama 还没有上 v3 ，最高 deepseek-v2.5 ，而且依照要求内存要求很高，只能运行入门款，效果也不好

[wangshushu]

别说 M1 ，M4 也搞不定啊，那可是 671B ！激活参数 37B ，算力应该是够了，内存远远远远不够，拉倒顶配也不够

[neteroster]

想多了，Q4 都要几百 G 内存

[LeeEnzo]

...api 便宜直接调用 api

[goodblue]

你真的知道 V3 是啥吗?

[TimPeake]

好像需要 64GRAM/GPU A100 起步

[JeffreyZhuang]

8 台 64G 的 mini 可以，老外已经实验过了 ：aHR0cHM6Ly9ibG9nLmV4b2xhYnMubmV0L2RheS0yLw==

[joequan]

不太可能，671B ，内存就要将近 1t ，就算勉强运行，速度贼慢，也没有用处

[erxiao]

很难。而且本地模型效果和在线的差太远了。运行的机器都不一样，不管是 M 系列芯片还是 4090 ，都是民用级别，不是 A100 这种工业级别的

[otakustay]

V3 要 20 块 80G 显存的 A100 才能部署，个人电脑就别想了

[lifehz]

@LeeEnzo 好的，那就调用 api 吧

[lifehz]

确实没弄明白 deepseek v3 ，如果号称最省资源的都要这么多资源，那是没机会玩本地模型了

[spike0100]

2.5 都跑不起来。2 的 3b 模型效果一般。

[YooboH]

@lifehz 他是训练省资源，但是这个模型本身就很大，而且只放出了 600 多 b 版本的，所以你本地部署的内存要求很高。你要想本地部署可以用那些 7b 、13b 版本的，但是效果大概不咋样

[mumbler]

gpt4o-mini 只有 8B 参数，意味着以后本地能跑 gpt4o-mini 模型，能力足够了，10B 以上模型都是服务器集群用的

[woorz]

@lifehz 是说训练它省资源。不是它省资源。用 api ，不需要显卡

[lifehz]

对了，为什么提这个问题，是因为机器之心 昨天发的文章
https://mp.weixin.qq.com/s/ac3E1roCv8uSVYVKZ84E1w

第二条是这么说的：
一些 GPT-4 级模型可以在笔记本电脑上运行

想了一下，似乎 “可以在笔记本电脑上运行” 和 “搭 deepseek v3” 不是一回事，但我的意思还是 “运行” gpt-4 级模型


尤其是 deepseek v3 出来大火后，更好奇想了解能不能在我的 mac air m1 上运行了

[lrigi]

@mumbler 4o-mini 他们也只是估测，说不定是个 8b*100 的专家模型

[ShadowPower]

@mumbler GPT-4 之后的模型 OpenAI 官方已经不公布参数量了，只是网友根据生成速度来推测的……
只能说激活的参数量是 8B ，但是每次输出时激活的是模型中不同部分的 8B 。

就像 DeepSeek V3 的激活参数量有 32B ，而整个模型有 671B 一样。

[flyws]

Deepseek v2.5 或者 Qwen 这些目前本地更有戏，这些在排行榜上我记得都接近老的 GPT-4 ，不过即使 Q4 的话大概都需要 8 ～ 10G 内存，所以其实现在 Macbook 统一显存内存后，运行 LLM 最大的卡点还是到底有多少内存，想玩遍主流各种大模型的话，最好还是拉满 128G ，至少也得有个 16G ，不然大多数模型都跑不起来。

本地跑 LLM inference 还是很有意思的，比如高铁或者飞机上想写点代码但是网络不稳定，那本地有个 Deepseek 2.5 级别的编程助手已经是很提升效率了。

建议楼主可以下载个 LM Studio https://lmstudio.ai ，方便自己开始研究实操这些