需要购买国产显卡本地部署大模型，哪家的比较好

[Flagship9945]

• 从部署、厂商支持等角度来说
• 200w 以内显卡预算

[viweei]

@coolair 我也搞过，当时找运营商借的机器，送来的时候里面用 k3s 部署了个 deepseek 14b ，后面想换个模型怎么都部署不了，完全就是浪费生命。

[xiaomushen]

@coolair 谁会自己找不痛快用 HW 计算卡呢？还不是为了吃饭，甲方信创涉密机房，买了 HW 卡，丙方外协牛马捏着鼻子骂骂咧咧捣鼓

[Jiajin]

@Flagship9945 vllm-ascend+MindIE ，基本上主流开源大模型都覆盖全，都适配了。

[zzutmebwd]

事实上除了 nvidia ，其他生态都是一坨，不是国产的锅，amd 也不行啊。

[xiaxichen]

@zzutmebwd 现在只求这些国产厂商开开窍 类 cuda 挺好的 别脑子抽了搞 NPU

[yh7gdiaYW]

@cpper 过度延伸了，你如果看过企业版的协议就知道，面向 C 端的 API 都在偷偷炼你的数据，企业版在此之上多一层法律保障但对涉密信息仍不保险。私有部署绝对是有必要的，最多争论下老黄的卡到底能不能买

[Meteora626]

只部署大模型，华为的卡 直接用他们提供的镜像就行了，为啥评论区部署 qwen 啥的都能出 bug ，华为微调不行，部署主流大模型是 OK 的。

[Flagship9945]

@Meteora626 #107 请问是类似这种的镜像吗？ https://ai.atomgit.com/SGLangAscend/Qwen3.5-122B-A10B

[xiaomushen]

@xiaxichen NPU 是旧时代的延续，那时候寒武纪大火，静态图的 Tensorflow ，yolo 之类，在 NPU 上跑得很好。大家都觉得 GPGPU 落伍了，纷纷发展 NPU

谁知道之后动态图大行其道，尤其是 LLM ，NPU 架构自然就落伍了呗。

[LaureatePoet]

可以用 “沐曦”，不止大模型部署甚至跑实验，微调 几乎都没问题。楼上说的也对除了昇腾都是支持 cuda 的只不过不同厂商适配的速度不同 体验不同。 国内著名的 GPU 就那几家上市的

[LaureatePoet]

关于 Atlas 300I Duo 系列的卡，我当年也测试过，持保留意见。个人建议如果非要采购国产 GPU ，建议选择类 CUDA 路线的，国内目前上市的 GPU 公司都可在考虑范围内。

[photolife]

你来操作吗？？国企？？
能躲最好躲，除非你在利益层，拿大回扣然后给领导上供
出了问题你担责，很麻烦

[snoopygao]

垃圾 atlas ，浪费我 2 个月时间部署 qwen

[Meteora626]

@Flagship9945 对，华为对主流大模型支持很快，但是冷门和微调困难

[zomco]

我是 atlas 的受害者