这是一个创建于 196 天前的主题，其中的信息可能已经有所发展或是发生改变。
指拆分模型多卡跑单图，不是多租户负载均衡/多实例并行那些。
最近刚好淘汰下来若干个 8G 显存的显卡，本来想塞一起整个 comfyui 玩玩，给显存来个合成大西瓜。
但整一半发现 comfyui 貌似干不了，只能多实例，单卡显存依然是个问题。
StableSwarmUI 看起来好像也是多实例？
多卡跑单图可行么？不可行的话原因出在哪？
最近刚好淘汰下来若干个 8G 显存的显卡，本来想塞一起整个 comfyui 玩玩，给显存来个合成大西瓜。
但整一半发现 comfyui 貌似干不了，只能多实例，单卡显存依然是个问题。
StableSwarmUI 看起来好像也是多实例？
多卡跑单图可行么？不可行的话原因出在哪？
3 条回复 • 2024-05-16 14:27:42 +08:00
 |
1
jZEdn7k4 196 天前  1
现在一般 DL model 都不考虑多卡串行了，基本都是 dataparallel 多卡同时跑大 batch size ，但前提是一张卡至少能跑一张图，你这个需求可能很难
|
 |
2
et5494 196 天前
你说的是推理还是训练?
|
Select Language