问题
PRO 6000（Blackwell，约 96GB）单卡可以扛 30B 级和较长上下文，FP8 吞吐也比 BF16 好。直接套 A100 镜像时，环境认不出这张卡，服务起不来。
环境问题
旧的 A100 推理镜像直接拿来用，典型失败：
- PyTorch 看不到
sm_120 - vLLM attention backend 选错，eager 模式慢得离谱
- 驱动和 CUDA 用户态不一致
处理：这张卡单独一套环境，较新驱动 + CUDA 12.8/13 路线 + 对应 vLLM 构建。不要和 A100 池共用一个「万能」wheel。
冒烟命令先确认：
nvidia-smi
python -c "import torch; print(torch.cuda.get_device_name(0), torch.cuda.get_device_capability(0))"
算力显示 (12, 0) 一类再继续装服务。
单卡试跑策略
这张卡主要用来：
- 验证某量化档（尤其 FP8）能不能起、质量抽检过不过
- 试长上下文配置，再决定要不要迁到 A100 多卡
- 给内部工具/编码助手做「单机专用」推理，不进公共高峰池
公开材料里 FP8 相对 BF16 常见有 2～3 倍量级的吞吐提升，同模型同长度抽测，方向一致。默认优先 FP8，除非业务强要求全精度。
# 示意：具体模型名随当时仓库而定
vllm serve <model-fp8> \
--host 127.0.0.1 --port 8001 \
--max-model-len 32768 \
--gpu-memory-utilization 0.90 \
--kv-cache-dtype fp8_e4m3
绑定 127.0.0.1 再经网关反代，避免 Docker 把端口直接曝到公网。
和 A100 的差异（体感）
- 互联：单卡没事；若将来两张 PRO 只有 PCIe，TP 时可能要关 P2P/自定义 all-reduce，和 NVLink A100 不是同一套手感
- 基线不同：同一模型在 PRO 6000 与 A100 上的 TTFT 不能共用一个告警阈值
- 定位：试验床 + 专人工作负载，不是 8 卡池的第九张「同构卡」
这张卡跑通之后，新模型先在这里冒烟，再决定占几张 A100。省下的是主池被试验配置打挂的次数。
