Spark 最贵,和后两者价钱有点儿区别,不过看起来都像是同一个方案,只是公版和各家自己牌子的区别而已?
1
WuSiYu 8h 29m ago via iPhone
只是换个壳吧
|
2
Insolitude 5h 55m ago via Android
没有 spark 独占的功能,甚至由于 GPU 架构的细微差异,导致能在同代的 rtx pro 6000 显卡上能跑的模型,到 spark 上反而有问题
应该可以,我看有人 6 台组集群,每个牌子的各两台 据说内存大小上有些差异,导致 hp 还是哪家的同样的设置就它会爆显存,一般调小 vllm 的显存占用就行。公版的散热会差点,满负荷运行会降频 建议去 NVIDIA 官方的 spark 论坛,那里有各种折腾教程。 |