首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
广告
V2EX
›
程序员
AI 画图多显卡方案有哪些?
livin2
·
13 天前
· 803 次点击
指拆分模型多卡跑单图,不是多租户负载均衡/多实例并行那些。
最近刚好淘汰下来若干个 8G 显存的显卡,本来想塞一起整个 comfyui 玩玩,给显存来个合成大西瓜。
但整一半发现 comfyui 貌似干不了,只能多实例,单卡显存依然是个问题。
StableSwarmUI 看起来好像也是多实例?
多卡跑单图可行么?不可行的话原因出在哪?
3 条回复
•
2024-05-16 14:27:42 +08:00
1
jZEdn7k4
13 天前
1
现在一般 DL model 都不考虑多卡串行了,基本都是 dataparallel 多卡同时跑大 batch size ,但前提是一张卡至少能跑一张图,你这个需求可能很难
2
et5494
13 天前
你说的是推理还是训练?
3
et5494
13 天前
@
et5494
https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
4534 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms ·
UTC 09:57
·
PVG 17:57
·
LAX 02:57
·
JFK 05:57
Developed with
CodeLauncher
♥ Do have faith in what you're doing.