需要购买国产显卡本地部署大模型，哪家的比较好

[Flagship9945]

• 从部署、厂商支持等角度来说
• 200w 以内显卡预算

[Flagship9945]

有没有有经验的老哥

[michaelzxp]

摩尔 s5000 的 8 卡整机

[Jiajin]

昇腾 910B2

[DeYiAo]

@Jiajin 不仅难用，而且马上就要被淘汰

[cocogovern]

这么厉害的预算，是啥应用啊

[DeYiAo]

最合适的是 PPU 1 代，16 卡。 最近涨价了预算不知道够不够。
PPPU 2 代，刚发布，8 卡，能买得到应该是最佳。
考虑昇腾系列的前提是，你们技术能力极强且有 10 几人的底层工程师可以调试改 bug ，或者财大气粗让华为的工程师驻场。

[Babbitt]

最近公司也有这需求，预算差不多，想部署 deepseek v4

[Flagship9945]

@cocogovern 这预算算少的了

[Flagship9945]

@DeYiAo 昇腾问题很多吗？

[yyttrr]

除了华为卡都支持 cuda,但是 cuda 版本可能很老,而且需要的一些其他基础设施要自己实现,不过有大模型写这些也不算什么难事.避坑一些特殊规格的比如一卡两芯的,选比较新的卡都差不多,海光的挺好用的

[skuuhui]

没经验不推荐国产显卡部署，坑太多了。如果非要部署建议找那种专门承接离线大模型部署业务的公司，直接上门安装包售后那种。

[Flagship9945]

@skuuhui 信创没办法

[Clannad0708]

国产显卡性能差，你即使部署了本地大模型效果也远不如网页版的能力，只能说不清楚需求。

[vandort]

不知道你要部署什么模型，但是现在模型出的这么快，从尽可能支持最新的模型的角度来说，选显存大的，卡内带宽高的（ 200W 也做不了多机互联），厂家支持到位的；符合前面三个条件下，选支持 FP8 ，最好能支持 MXFP4 的；这些都满足的情况下，选省电的，便宜的，能稳定供应的

[Flagship9945]

@Clannad0708 政府项目就这样，领导跟风拍板，最后往往草草了事，样子上说的过去就行。

[cpper]

这种部署最终都是浪费掉的，说实话

[byteX]

哎
信创

[Flagship9945]

@cpper 整条线上的人赚钱了，😃

[strobber16]

微内核

[Flagship9945]

有经验的老哥可以合作

[diudiuu]

看显存和带宽，合适就买

[cpper]

@Flagship9945 因为可以收回扣的

[cpper]

@Flagship9945 并不是他们蠢所以拍屁股做的决策，而是因为可以收回扣，有利益

[xiaxichen]

我测过几家的显卡只能说阿里的 ppu 还是能用的,其他的都不太行.尤其吹的锣鼓震天响的华为.

[newaccount]

政府项目不要瞎搞，你想部署哪个模型，联系对方咨询软硬件环境，人家也乐于多几个样板工程

[catazshadow]

纳税人的钱就这么被烧掉了

[mingtdlb]

国产都有哪些 GPU ？华为昇腾、天数智芯，还有哪些，海光好像也有

[cctvbnm111X1]

如果现在上项目，那必须是昇腾 950dt ，fp8 都不错了，反正有技术支持，其他几个厂都要慢的多，如果你说自己玩，那还是 ppu ，cuda 生态容易点

[whoops]

有信创要求，你的选择也就这九个，你可以了解一下平头哥，据说比华为的坑少一点，https://www.itsec.gov.cn/aqkkcp/cpgg/202605/t20260526_259396.html

[songray]

国内的卡基本都是偏科的，建议先去云服务上租不同型号，把自己的 POC 跑通。

[wskymark]

这东西不是只需要考虑一上指标吗？哪家有利润要哪家的

[abel533]

@songray 有国产卡云服务租的渠道吗？

[songray]

@abel533 有，华为云和阿里云就可以租到两家对应的型号

[xiaomushen]

@Jiajin 这东西只有理论算力。。。实际极难发挥

[xiaomushen]

@cpper 又不是你口袋里的钱，有啥浪费不浪费的。哪怕外企里买了 H100 部署，你能保证大部分情况下，不是浪费么？

[google2023]

@DeYiAo 武汉某高校去年 4000W 用在昇腾身上，技术支持都远远跟不上

[google2023]

@skuuhui 麻烦推荐几家？最好有武汉的，要真正技术实力强的

[xxmaqzas]

我们信创项目都用的昆仑芯 P800 只能说不太好用

[find]

看了好多评论，果然是殖人思想。难道一辈子都要受制于别人吗

[codingmiao]

用过海光、昇腾、平头哥。昇腾自建生态加上文档稀烂，体验就是一坨。另外两家 cuda 上能跑的代码随便改改就能跑起来，但比起 n 卡来性能和体验还是要差不少。

[cpper]

总有些人以为是在创新和防止卡脖子，其实背后全是利益和勾兑

[cpper]

@xiaomushen 我每年个人所得税交几十万，还不能关心下蛀虫浪费税收了？

[cpper]

有些人揣着明白装糊涂，信创都是些什么东西心里没点数吗

[Flagship9945]

产品选型，不涉及其他的～～

[cpper]

@xiaomushen 外企就是把买的卡扔到水坑里都无所谓，只要不是花的税收的钱。但信创的那些单位花的钱来自于哪里你心里没数？

[jacketma]

网上不是爆昇腾 910b 、910c 都是 TSMC 代工的 7nm 么（算能科技发包），工艺品控应该可以，就看你这边部署能不能适应软件生态了

[EngelEyes]

七彩虹🐶

[abel533]

@songray #33 这两家找过多个入口，都看不到能选 GPU 的地方。。想从头在一台机器部署大模型测试，方便提供一个选择型号的入口界面吗？问过 AI ，说有，根据步骤走不通。

[murmur]

阿里 平头哥

[jokechen]

昇腾 910c 部署 deepseek 遇到了一个 bug ，直接影响使用，还是要谨慎些。
https://github.com/vllm-project/vllm-ascend/issues/9170

[songray]

@abel533 华为云选购买弹性云服务器，区域选华北三。

找不到是因为限购，要用公司的账号找客户经理申请。

[CloudnuY]

平头哥也有坑，vllm 镜像只能用内部分发的，启动之后模型时不时出现各种问题（循环、无法调用 tool 、思考链无法控制、答非所问等等）

[abel533]

@songray #51 切换不同区能看到带 GPU 的机器，都是 NVIDIA Tesla ，没有国产卡。想适配国产卡很难，卡也不好买。

[a791633597]

阿里华为我这边都做，部分卡要后台申请开白才能看到，有兴趣可以聊聊
v：dmzzx123

[cubecube]

@xiaxichen 因为 ppu 阿里自己也在吃狗粮，nv 的卡不够，qwen 大规模使用 ppu

[cubecube]

@abel533 #53 你要联系销售沟通，现状是卡不够，不卖散户的

[Liftman]

如果是有特定的项目，而不是单纯的部署算力需求，我建议你找一家，做成产品，单兵化的设备，他封装好。这样你不需要解释里面是什么牌的算力。。。

[elehayym1618]

昇腾，kunlun ，ppu ，海光，燧原我都适配过，说实话纯粹就是浪费纳税人的钱，适配这些东西你的狂躁程度会高的离谱，各种你想象不到的问题，而且也没有渠道解决。
比如 kunlun ，他们的 vllm 还是基于 0.15.x 打补丁的，很多新的模型都不适配，然后有些量化的 config 也没有人写，但自己改吧改吧也能用。
昇腾是纯垃圾的骗钱玩意，我都不知道这东西他们自己有没有测试过，对着官方文档都起不来。他们那个 mindie ，cicd 肯定是没有的，上个版本还能跑的东西新版本就跑不了了，硬件也垃圾，动不动就掉卡，买这个就是纯粹给他们当免费测试当小白鼠。

[xiaomushen]

@cpper 关心就关心呗，那你能说服北京那边，要求信创单位购买 N 卡么？

[xiaomushen]

@cpper 信创不见得是蛀虫，而是属于没办法。要么让我国放弃国产化诉求，放弃和华盛顿对抗。要么只好捏着鼻子用现阶段的信创产品。有啥办法呢？

反过来说，谁不想用 N 卡呢？

[xiaomushen]

@elehayym1618 昇腾的理论算力只能用在静态图上，比如 TensorFlow,Yolo 上。对付 LLM 这些动态玩意儿，真的无解

[Flagship9945]

@elehayym1618 #58 老哥有兴趣加微信吗，后续有机会可以合作。

[zcj920]

910B 单机 GLM5 Q8 只有 20tps

[xiaxichen]

@zcj920 20 tps 也太离谱了

[wildwind2333]

平头哥 PPU 好点 但也一堆问题，还必须阿里工作人员去适配模型，自己目前拿不到测试服务器去适配

[xiaomushen]

@xiaxichen GLM5 ，MoE 744B ，激活 40B ，Q8 部署，单卡显存倒是能满足了。这速度嘛。。。很符合昇腾的实际表现

[xiaxichen]

@xiaomushen 那还有啥用 都不如直接买充钱买 api 了

[wanghanthu]

200W 还是买 token 吧，这点钱不够硬件厂商技术支持费用的，新模型出来打算自己 debug 吗？

[xiaomushen]

@xiaxichen 涉密单位不允许连外网呗

[xiaxichen]

@xiaomushen 我看阿里云有那种 tokenplan 企业版说是不用回答作为训练数据 这种单开 url 通过应该可以吧

[xiaomushen]

@xiaxichen 没用，涉密单位不能连外网，物理隔离的。所以才需要本地信创算力。
真的是一言难尽啊，再说了，正规渠道层面，老美也严禁出售计算卡给那些单位，抓到后，全球追捕全链路经销商，也是神经病。。。

[yinanc]

感觉这个帖子的讨论很有价值

[Jiajin]

昇腾 910B2 、海光 K100AI 都用过，推荐昇腾 910B2 。950 我不推荐是因为你 200 万买不了 8 卡

910B2 是能用的。勉强能用的那种。

[JoveYu]

别说国产了，玩 AMD 用 ROCm vLLM 也是差不多的体验

[pepesii]

@elehayym1618 kunlun ，确实是一坨！文档压根走不通！

[mofash]

@find #39 粉蛆又破防了，一坨翔逼着让你吃，你还的非说香？

[VeteranCat]

别折磨自己， 这些国产显卡的技术支持你个人是获取不到的， 个人使用最好跟着社区的支持来，cuda 是你的唯一稳妥选择，ROCm 你都会和吃粑粑一样难受的。

[MarioBros]

#find #39
让我想起了光刻机

[runzekk]

真是一堆想润海外，别人都不要的。也就是在国内大家技术素养还不高，没有给一些智商情商有问题的淘汰掉。
真是不知道搁这口嗨能有什么意义，一个正常适配模型的帖子也能键政，看着都恶心。
本来对键政是中立的，没有观点的，看了这么多无脑喷子都开始反感键政的了。
有什么想法就去提，想做什么事就去做，实在不行直接润，搁这影响别人心情。

[raycool]

阿里的平头哥～

[xiaomushen]

@runzekk 也不能这么说呀。总归吐槽吐槽咯，虽然从国家安全的角度上说，能理解信创。但此刻国产计算卡实在是太难用了。而且尤其是 NPU 线路的，当下的昇腾卡，搞基于动态图的 LLM ，哪怕是做推理，也是接近扯淡的存在：累死 AI Infra 打工仔

PS：也理解西大不允许用 Huawei 的通信设备---国安角度

[xiaomushen]

@VeteranCat 国安，涉密，信创。这样的大前提下，就别想 N 卡了。捏着鼻子搞国产卡叭...

[xiaomushen]

@runzekk 又不是搞 LLM 底层的清北本硕，普通码农打工仔，润出去也没人要啊，只能和老墨一起修草坪

[jetsung]

说是 8 月份上 950DT 。前两天看到新闻说 哈工大深圳 + 华为，还有一个忘记是哪个单位了，联合搞出了个支持 deepseek v4 pro 的。v4 flash 已经支持了。AtomGit 上面有看到
https://ai.atomgit.com/models?ascendNative=true&ascendEcosystem=true

[Flagship9945]

@Jiajin 部署起来是不是很麻烦？

[Mandelo]

都信创了，还管啥好不好，重要不是结果，而是花经费写 PPT

[HojiOShi]

之前把玩过摩尔线程的卡，跑了一下 llama.cpp ，只能说就是纯电阻丝，毫不夸张。然后它那点可怜的 MUSA SDK 还要登录才能拿到手。

[raycool]

@jetsung 这个估计今年根本买不到，不用想了

[mmdsun]

你们是做开发？还是只是部署模型？

我们公司买的昇腾 910B ，先开始的 docker 都拉不下来 一看是内网的。。
后面就给个了镜像导出的才部署好。不过好在用着没什么问题 qwen\deepseek 都本地部署过。

[Flagship9945]

@mmdsun #89 我们只要部署好就可以了

[smlcgx]

这个数感觉是写材料用的，试试华为那边能不能梭哈了，你跟领导都省心

[zhanying]

@Flagship9945 910 系列问题很多，只支持 SIMD

[ezwangsong]

信创项目选型，图省心直接上**阿里平头哥 PPU**。从帖子里看，PPU 至少延续 CUDA 生态，模型改改就能跑，内部也在吃自己的狗粮，比昇腾的闭门造车强多了。

如果领导点名或只为交差，那就**华为昇腾 910B2**。虽然大家都说文档稀烂、动不动掉卡，bug 也多，但这是政治正确的最优选，且华为有驻场工程师能给你兜底，这 200 万里必须含原厂技术支持的费用。

最后提醒一句：**先别急着买，去阿里云或华为云租几块同型号的卡跑一遍**。国产卡兼容性看命，只有自己实测能跑通你要的模型，这钱才不算白烧。

[xiaomushen]

@zhanying 那玩意儿就是个大号 NPU ，根本不适合跑动态图的 LLM 。950 倒是改成 SIMT 了（ GPGPU ），还号称兼容 CUDA ，不知道效果咋样。

我觉得 910 就是 HW 抄袭寒武纪 NPU 后，最终的进化形态。结果发现 NPU 这条楼基本是死胡同，一咬牙改换门庭，走 SIMT 路线

[ludyleocn]

又学到东西了。

[coolair]

我用过华为的昇腾 Atlas 300I Duo 。
评价就是：垃圾垃圾垃圾垃圾！没本事千万别用华为。
生态极其混乱，乱七八糟，文档极其垃圾，狗屁不通。
服务也非常垃圾，有了新卡就放弃旧卡的支持。

NVIDIA 一行命令几秒钟的事，用华为你可能要折腾一个星期。

知道最后怎么搞定的吗？找了一台华为原厂工程师部署好了的机器，查看历史命令和他改的配置文件才搞定……
也怪自己能力差。

[Jiajin]

@Flagship9945 大模型部署很简单。专用的中小模型会稍微复杂些，总体还好，难度不大。

[Flagship9945]

@Jiajin #97 我看到部署好像直接是用 docker 镜像？

[clemente]

@find
@elehayym1618 老玩家了 不过小心某为法务部啊

[clemente]

@JoveYu 那可不一样 ROCM 是开源的 社区遇到的问题你都能查