测法
挑同一开源指令模型（中等参数档），分别在：
- 1 × A100 80GB
- 1 × RTX PRO 6000
用同一套 vLLM 请求集：固定输入/输出长度，并发 1/8/32。PRO 6000 上额外开一组 FP8（若权重可用），A100 上按该卡常用精度。
结论（运维向）
- 绝对值不能横比着写进同一告警线。 架构、显存带宽、精度路径不同，TTFT 差一截是常态。
- PRO 6000 + FP8 更适合「单卡高并发试验 / 专人负载」；A100 池适合「多卡 TP、和现有在线编排统一」。
- 镜像与驱动分裂是功能需求，不是洁癖。合到一个镜像里省事，最终会在半夜里以奇怪 CUDA error 回来。
表格（记录模板）
| 项目 | A100 | PRO 6000 |
|---|---|---|
| 精度 | BF16/AWQ 等 | FP8优先 |
| 角色 | 主池 | 试验/专用 |
| 告警 | 主池 SLO | 单独基线 |
| 互联 | NVLink 多卡 | 单卡为主 |
决策
新模型：先 PRO 6000 冒烟 → 质量与延迟可接受 → 再进 A100 按在线配额部署。反过来「先占满 A100 再调参」成本高太多。
对比测试的产出不是排名海报，是路由表和告警阈值怎么分卡型写。
转载请注明：周志洋的博客 » 同模型对比：A100 80G 与 RTX PRO 6000
