小型公司私有化部署大模型（deepseek-v4-flash）的话，有推荐的配置吗?

[boringwheat]

想部署一个 deepseek-v4-flash 或差不多相同级别的模型，目前在看的配置包括：
8xA100(只能部署量化版本)一体机，
8xH20,8xH200 云租赁 GPU 服务器；
有部署过的群友吗？效果怎么样？或者有没有其他的配置参考？

[emmo]

小型公司私有化部署的意义在哪？
大型公司有搞头，小公司折腾这个干嘛？
买 gpu 当投资啊？

[slowgen]

肯定是 RTX Pro 6000 啊，Blackwell 架构能跑 NVFP4 ，H20 的 Hopper 架构在 LLM 领域是路边一条，又贵又慢。

4 卡 RTX Pro 6000 的镜像配置和速度 https://github.com/local-inference-lab/rtx6kpro/blob/master/models/deepseek-v4.1-flash.md

[boringwheat]

@emmo 做一些本地文档解析，流程前置审批工作

[boringwheat]

@slowgen 我去了解一下