AI 画图多显卡方案有哪些？

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 755 days ago, the information mentioned may be changed or developed.

指拆分模型多卡跑单图，不是多租户负载均衡/多实例并行那些。

最近刚好淘汰下来若干个 8G 显存的显卡，本来想塞一起整个 comfyui 玩玩，给显存来个合成大西瓜。
但整一半发现 comfyui 貌似干不了，只能多实例，单卡显存依然是个问题。

StableSwarmUI 看起来好像也是多实例？

多卡跑单图可行么？不可行的话原因出在哪？

多卡

单图

拆分

3 replies • 2024-05-16 14:27:42 +08:00

jZEdn7k4

May 16, 2024

现在一般 DL model 都不考虑多卡串行了，基本都是 dataparallel 多卡同时跑大 batch size ，但前提是一张卡至少能跑一张图，你这个需求可能很难

et5494

May 16, 2024

你说的是推理还是训练?

et5494

May 16, 2024

@et5494 https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/