现象
在线 p95 TTFT 抖动，GPU 利用率上八张卡同时打满。离线全量评测脚本使用 --gpus all，把在线实例的卡也占了。
改法
物理隔离优先于礼貌约定。
- 在线：固定
CUDA_VISIBLE_DEVICES，例如 0–5 - 评测/刷向量：只许 6–7，或空闲探测后申请
- 调度系统里在线队列权重高于离线；离线可抢占
评测脚本模板删掉 all，改成读环境变量 EVAL_GPU_IDS。CI 镜像里不放「默认全卡」的方便脚本。
观测
看板按 job_type=online|eval 拆 GPU 利用率。只有一张总图时，根本看不出是谁在咬谁。
结果
之后评测照跑，在线毛刺明显下降。八张卡的优势是池子大，不是让每个任务都以为自己拥有全世界。
转载请注明：周志洋的博客 » 八卡A100在离线混部：怎么避免评测打死在线
