xxfye

@me1onsoda 最主要的原因就是，不同场景对于资源的要求是不一样的。
比如大数据集群，就禁止超售，该分配给 spark 作业 20c ，就一定要独占 20c ，不然无法保证 spark 作业按时效顺利完成，如果超售内存，麻烦就更大了，可能导致作业 OOM 挂了，甚至把宿主机整挂了。
业务集群运行 CPU 和内存可以按 2-4 倍超售，GPU 集群甚至能把 GPU 按 4 到 8 倍超售。
其他集群也各有特点：
比如混部集群，6 点到 22 点优先提供给业务集群扩容，其他时间都给大数据集群用。
还有信创 ARM/x86 集群，里面就全是信创的机器。机器特点是单核性能低，但核心多内存大。

多个 k8s 集群不是很正常嘛，我们都有将近 10 套集群了，而且 k8s 版本还不一样。
业务集群，GPU 集群，大数据集群，混部集群等等，每种集群都是在两地机房独立部署的。

有些人的幻觉比大模型强多了。
也许这就是为什么大模型永远比不过人的原因。

@JeriffCheng 为啥要应付检查丢库房？那不买不就好了。要买还得走长长的采购流程。
银行为啥要发布大模型，银行是讲究效益的地方，连大模型都不想从头训练，都是采购外面的大模型，微调一下就用的。
你以为 A100 除了大模型就没有别的事情可以干么。

@JeriffCheng 银行早在 A100 发布之初就买了一大堆了，后续搞国产化就收手不买了，哪里还等到制裁和黑市

@JeriffCheng 你说互联网企业没 2 千张 A100 是认真的吗。
就我所知，就连几家国有银行都有 2 千张卡了。

今日笑话：国内大模型是 llama 微调出来的。