测法
在 RTX PRO 6000 上对若干提供 FP8 权重的常用模型做：
- 冷启动能否稳定 serve
- 固定长度吞吐、并发 8 的 TTFT
- 同一 prompt 集与 A100 BF16/AWQ 输出对比（人工抽检 + 简单一致性）
结果
FP8 吞吐优势明显，和公开材料同向。质量上：多数日常问答抽检可接受；个别工具调用 JSON 边界偶发更脆，要在真实 schema 上回归，不能只看「能聊天」。
长上下文打开后，显存账同样吃 KV；96GB 不是无限。max-model-len 与 max-num-seqs 仍要成对拧。
使用策略
- 编码助手、内部只读 MCP 对话：PRO 6000 FP8 很合适
- 对外强一致工具调用：A100 上已验证的精度档优先，或 FP8 过回归再切
- 两卡型仍然分告警基线，FP8 快不等于 A100 池可以共用 p95 线
冒烟流程保持：PRO 6000 FP8 先过 → 抽检通过 → 再考虑占 A100 名额。
转载请注明：周志洋的博客 » PRO 6000 上FP8常见模型：速度有了质量怎么验
