公司私有化部署大模型

[SoulSleep]

公司有点规模，搞了几千万预算部署了一些国产开源大模型，然后流程上要求高敏业务的智能体必须使用本地化模型。

从技术的角度讨论下看，这个事还能继续走下去吗？

已知的问题： 1.不如云厂商提供的模型兼容性好 2.偶尔还有 bug ，比如 tool call bug 3.这个预算碰到 k3 这种模型根本部署不起

还会有什么问题？你怎么看？

[jacketma]

部署哪家的大模型，可以找官方支持服务啊，人家包你调试的

[demonvinc]

几千万 K3 还是够的

[wombat]

从模型参数看，和 K3 相比，GLM5.2 私有化部署性价比更高，已经满足日常使用的需求。K3 ，看公开的使用体验，并没有高出很多。 tool call 的问题，GLM5.2 应该少了很多。问题不大。

[wombat]

@wombat B300 ，1300W 左右。 经费够，采购这个。

[superkkk]

H200*8 或者 B300*8 吧，买机器的钱够冲 token 用 10 多年估计没问题

[tolbkni]

同楼上，这个预算能搞 B300 搞 B300 ，然后跑 GLM5.2 不比 K3 效果差多少，但对显存要求低了很多

[isbase]

这技术上当然没毛病 大公司基本上都有自己的私有化 AI 云

[Atma]

自己部署一部分，然后购买厂商的一部分，分级使用