本地部署大语言模型哪家强?

[babyedi31996]

几个月之前在油管和阿 b 都看到很多教怎么本地部署 AI 的教程,

弄了下来玩了玩,有 chatglm3-6b,llama2-13b 的各种量化变种,

最后对接酒馆玩卡片 AI 人,刚开始真的很震撼很刺激,

尤其是配合 tts 语音 和 stable diffusion 实时生成人物表情图.

但是说实话我 3080-10G 能部署的模型现阶段还是智商和显存欠费.

你说用 claude chatgpt 那些吧,又没隐私又被警告.

瑟瑟永远是玩家第一生产力阿.

那么问题来了,最近 Mac Mini 64G 出来了,大概 17000 能拿下,有没有搞头?

能不能用它来运行量化的 llama3-70b 之类的.

或者是本地部署到底什么方案比较好,请教各位大佬

[guiyun]

@babyedi31996 精度更高效果会好些吧，而且生成速度不错。我的显卡 p4 。这么差的计算卡速度都不慢

[sworld233]

本地我体验过来，效果最好的两个模型：谷歌的 Gemma2 和阿里的 Qwen2.5 ，huggingface 上面还有微调版本，可以加强某方面的能力。
7B 以下的模型几乎都不可用，Gemma2 9B 是我能接受的效果下限，Qwen 2.5 32B 或 72B 或许是一个大显存不错的选择

[Hookery]

@babyedi31996 比较新啊，开源模型有 RANK 的，可以搜一下

[dafen7]

nvidia 的那个 llama70B 怎么样我试了几个问题还不错

[hldnpqzzy]

自己部署过 llama 、chatglm3-6b 、qwen2-7B
体验是千问比较好好用
70B 别想了 你显存不够的

[hao7Chen]

我觉得 MiniCPM 不错

[JayZXu]

真要体验角色卡，还是付费买 API 用 claude 或者 Llama 3.1 405B 比较靠谱，毕竟大故事背景的，后期单次请求都要几十 WToken ，个人自部署的话显存根本不够用

[shm7]

这种东西要 llamafile + 大大大的显卡
另外“对接酒馆玩卡片 AI 人” 有关键字吗？

[yavdein]

同求酒馆玩卡片 AI 人的哔哩哔哩视频

[WorldlineChanger]

@shm7 SillyTavern 项目，卡片为玩家自制设定，文本以图片格式存储就是角色卡了，发布渠道详见社区

[Mirror998]

同求酒馆玩卡片 AI 人的哔哩哔哩视频

[Latin]

国内用还得是 Qwen

[brando]

不部署，我这显卡玩游戏，都是花钱买服务用。

[lslqtz]

M1 Pro 试过 14b q4 模型推理, 大概 12-15 token/s. 7b q6 大概可以做到 20 token/s. 输出的速度还是比较快的.

[lslqtz]

软件的话主要 rwkv-runner 或者 ollama

[lslqtz]

@JayZXu 我记得 DuckDuckGo 有免费 AI 包括这几个模型, 不过参数量可能有些小. 我本地部署大模型的需求是希望输出一些 Uncensored 内容.

[lslqtz]

@hldnpqzzy 64G RAM 的话降低量化精度应该还是可以跑的, 苹果的机器 GPU 共用 RAM, 而且似乎没有访问限制.

[lslqtz]

Mac 跑大模型的好处在于显存成本相对较低, 坏处是 GPU 可能偏差一些. 当参数超出一定规模后, 连苹果的金子内存可能都会有一点性价比...

[supemaomao]

最近想学习本地部署模型做聊天测试。想请教 op 和楼上各位大佬，第一次接触这个的前提下，有什么关键概念需要先学习吗？整个流程的大致思路应该是怎样呢？感恩😁😁

[babyedi31996]

@supemaomao 没，跟视频教程一步一步很简单。最麻烦就是弄 cuda