问题

稠密 70B 常驻占满卡。MoE 激活参数少、总参数大。多卡上能否在可接受延迟内提供更强推理，同时不把整池占死，取决于专家并行以及上下文和并发怎么配。

试跑配置（示意）

具体模型名随当时发布线而定（Qwen3 系 MoE 等）。多卡时既要张量并行，也常要专家并行相关开关，文档和版本必须对齐，抄过期命令很容易起不来。

经验上的约束：

• 长上下文 + 高并发 很难同时满血；--max-num-seqs 收到很低才能换很长的 max-model-len
• MoE 的内核/配置若未按 A100 调过，吞吐会显著差于宣传数字
• 冷启动和编译时间比稠密模型更敏感，就绪探针更要诚实

结果怎么用

试跑通过，不代表可以切默认流量。只挂到单独别名，给难例和深度推理，并单独记账卡时。主聊天仍走 14B/32B 稠密档。

对比项固定：

• 同题目质量抽检（含工具调用）
• p95 TTFT、卡时成本
• 故障率（异常退出、空输出）

坑

分布式启动时 Ray/NCCL 参数、自定义 all-reduce、是否 enforce-eager，都要按卡型记录。一套在 PRO 6000 上的 workaround 不能原样贴到 A100 NVLink 池，反之亦然。

MoE 是「可能更省激活算力」的选项，不是自动更省事。运维复杂度上去之前，先要有单独别名和单独看板。

转载请注明：周志洋的博客 » Qwen MoE 多卡试跑：专家并行和显存账