有什么高性价比的开源大模型体验和生产部署服务？

[wencan]

之前玩 8b 左右的，在电脑上用 llama.cpp 跑，还流畅。
然后越玩越大，35b 、70b 、120b
要么直接跑不起来，要么几十分钟生成

要求除了能跑各个知名的开源大模型，比如 qwen2 ，还要能跑 cohere 之类稍冷门的
因为后面可能要生产部署，最好得是国内的。
体验和生产部署分开也行。
目前看，微调的可能行不大。不需要支持微调或者自定义。简单地说：有 api 调就行。

不知道 huggingface space pro 、colab(pro)、openrouter 之类能否满足需求？
还是说需要 vps 型的？

[wencan]

另外有时生产环境可能有信息安全的要求。考虑到信息安全，估计得自己部署了，有什么高性价比的解决方案？

[bkdlee]

模型越来越大，只能通过硬件解决。
我用的是 ollama 加 AnythingLLM

[wencan]

@bkdlee 那么，有什么高性价比的硬件？

[paopjian]

最实惠的是 2080ti 22g,不过没有保修,再好点是 4090,但是游戏卡可能不太适合长期运行. A100 40g 的 3.7 万, 80g 的 14 万不值得了, L40 48g 4.2 万, L40s 48g 5.6 万感觉不错. 其他的 H100 什么的就别想了.

[yiios]

@wencan 显卡 2080ti 22g * 4 ，准系统超微 7048 。一万五以内搞定，可以高上下文跑 72b 量化模型，token 20 个每秒。

[Springmvc]

4 卡 amd mi100 可以一战 32*4 GB 显存 + epyc4000

[bkdlee]

@wencan 目前性价比高的全新配置是 Mac Studio 的 M2 Ultra ，64GB 。再往上就看财力了。统一内存架构适合跑大模型。