MacBook Pro M1 Max 64G 可以跑 DeepSeek R1 的大模型当 AI 服务器,当年想都没想过还有这个用途。

之前本机跑 Llama 3 性能并不好,能力不如大部分收费的模型,但是如今有了 DeepSeek ,一下就山鸡变凤凰,相当于本地跑个 Chatgpt o4 mini 的水平,这就很够用了。
当然 70B 模型虽然能跑动,回答速度是比较慢的,目测大概 3 tokens/s ,只能用来问适合思考的问题,例如我问了个黑洞视线的问题,花了大约 2 分钟才输出完毕。但是如果降低点要求用 32B 模型,输出能快到 15 tokens/s ,基本和线上服务相似,就非常可用了:

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/1108245
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.