几个月之前在油管和阿 b 都看到很多教怎么本地部署 AI 的教程,
弄了下来玩了玩,有 chatglm3-6b,llama2-13b 的各种量化变种,
最后对接酒馆玩卡片 AI 人,刚开始真的很震撼很刺激,
尤其是配合 tts 语音 和 stable diffusion 实时生成人物表情图.
但是说实话我 3080-10G 能部署的模型现阶段还是智商和显存欠费.
你说用 claude chatgpt 那些吧,又没隐私又被警告.
瑟瑟永远是玩家第一生产力阿.
那么问题来了,最近 Mac Mini 64G 出来了,大概 17000 能拿下,有没有搞头?
能不能用它来运行量化的 llama3-70b 之类的.
或者是本地部署到底什么方案比较好,请教各位大佬
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.