2张4090如何运行？

[hufeide]

如何双卡运行gradio

[hufeide]

单卡只有24G，双卡应该满足40G要求，如何多卡部署

[cleardusk]

一些思路（未尝试 ）

• 尝试量化版本
• 通过 tp/pp 等方式将模型放到两张卡上

另外，可以参考 https://github.com/lvyufeng/Lance-2080ti 的一些降显存操作

[wangaocheng]

就是vllm-omni 无法双卡启动