信创 gpu 和 英伟达 gpu 如何选择？

[crazychang]

项目背景：国资尾部券商，迫于 CIO 想出 AI 相关成绩，遂需采购 gpu server 。只做 llm 推理 不做调优 可能会放若干个 rag 系统上去。

考虑到以下几点有些犹豫：
1.证监会现对券商有要求，每年新投入的软硬件预算有信创指标（今年 20%-30%？逐年递增）。gpu 预算在总预算中只占 4%左右
2.目前在谈的有华为和中科曙光的产品 中科曙光 Z100 型号单卡性能相当于 V100 60%-70%， 华为的产品还没有了解性能。
3.从自身出发，nvidia 不论是开发还是跑开源应用还是能方便很多。
4.此次立项标题可能是‘算力资源建设’，所以要考虑后续新增 gpu 的拓展性。
5.价格上中科曙光 Z100 8 卡 gpu 应该是 30 多万，我们的预算 150 万左右，需要测试环境生产环境至少各一台。

[wetalk]

既然上头有要求，就按照要求来，剩下的 80%采购 nvidia

[crazychang]

@wetalk 我可能没说清楚 总预算不只是 gpu 预算 gpu 总预算需要有 20%-30%购买信创产品，gpu 预算只占 4%左右，也就是那 150 万。所以其实是个二选一的处境。

[renmu]

如果你是领导就买信创，不是就买英伟达

[tangtang369]

研发用肯定英伟达

[YGHMXFAL]

不是政策要求谁愿意为信创买单啊

[feather12315]

领导让买啥买啥， 不用犹豫不用纠结。

[jlkm2010]

考虑后续新增 gpu 的拓展性，那还是选国产算力卡吧，昇腾 910B 性能更强一些

[kongyiji]

那肯定是信创了，还要质疑？

[sakilascott]

你有权利做这个决定吗？
如果有，那肯定是谁的返点多买谁的。
如果没有，别瞎操心了。

[zaizaizai2333]

英伟达你能买到 V100 嘛？

灰色路径买到的，一旦被定位、发现，会被锁卡。

无论买啥，兼容 PyTorch 的最重要了，生态能给你用卡省不少事情。

[minami]

这个所谓的 Z100 ，是不是 AMD 那边买的技术。。。

[unknowsll]

1 、大陆使用被禁售的卡，会有被远程锁卡的风险措施； 2 、这个事情估计你拍不了板，还是领导定吧，因为涉及这种金额的事情，都属于江湖，而江湖不是打打杀杀，江湖是人情世故。

[thep]

不用纠结肯定信创，早用早舒心，省的折腾。

[wzbrbj]

我记得我听过一期播客，他讲做信创的公司都已经给你想好解决办法了，外壳是搞的信创的设备，实际 GPU 都是用的英伟达的。

2 个都要买的，信创的买了给领导看的，英伟达的才是真正干活的。找个信创的公司说你有什么什么需求，能不能满足。

[ntedshen]

不是怎么远程锁卡这种神奇的论调都出现了。。。
甚至明明都分不清哪张卡是哪张。。。

“8 卡 gpu 应该是 30 多万” 显卡的预算就算三万一张？

首先得搞清楚 v100 不是 a100 ，v100 就是个古代卡，家用 20 系一代的。。。
16g 的 v100 散装现在四千带票五千就可以买到，32g 的倒是要三万，但是主要是因为大显存贵，不是算力贵。。。
单论硬件规格这东西基本也就和一个 2080ti 差不多，除了 fp32 。。。

所以买 v100 的主要理由应该是你的需求真的需要在八张卡的限定内搞定 256g 显存，算力实际上没有被考虑。。。
而这“Z100 型号单卡性能相当于 V100 60%-70%”，这个百分比想来也是算力的差距。。。
但是当你开始考虑 v100 的时候其实已经意味着你没在考虑算力了。。。

于是乎结论应当是你要只吃显存那信创随便买。。。
要要求算力可以去买 v100 ，但是总的来讲属于咸鱼之选。。。

题外话的。。。
a100 国行是不好买不过 a800 最近卖的挺火。。。
我司来了好几台 nf5280m6 。。。
非要说显存价格比确实是不如 v100 ，甚至 cpu 的双路 xeongold 没能打过家用 12900k 。。。
但是至少是个新卡。。。

[BMAO]

国企里面优先考虑风险吧

[n0bin0bita]

@ntedshen 不懂就问，A100 真的会锁卡吗？具体形式或原理是啥样的，公司在阿里云上买了 A100 ，阿里云是有什么特权还是有什么小动作，他对外出租显卡，不会吃传票吗，真心好奇求解答

[ntedshen]

@n0bin0bita 这谁提你问谁啊，就一张卡我还好奇他怎么锁呢。。。
传说中的 intel on demand 也就只是硬件解锁，谁家单一硬件搞加锁的，又不是 switch 。。。

[zaizaizai2333]

@ntedshen
@n0bin0bita
@ntedshen 忘记上一轮以太币矿潮，驱动锁算力的卡了？闭源的驱动，点到为止。

[ntedshen]

@zaizaizai2333
1 、这不叫锁卡
2 、破解方案出现都没超过一个月