怎么测

挑支持长窗的常用开源模型，分别在 A100、PRO 6000 上：

• 把 max-model-len 提到业务想要的档（如 32K/64K/128K）
• 塞入「前面埋关键数字、末尾提问」的针测
• 看：能否启动、单请求显存、TTFT、是否答对埋点

发现

• 宣称 128K ≠ 配置拉满还能并发；经常是 max-num-seqs=1 才勉强
• 中间遗忘真实存在：窗越长，针测失败越多，和卡型关系不如和模型实现/插值关系大
• 前缀很长时，首包延迟和费用一起涨；Dify 里再叠知识库片段，更容易超预期

线上策略

业务真需要长文档，优先：检索切片，而不是整本塞进上下文。长窗留给「确有全文依赖」的少数别名，并单独限流、单独标价（内部成本）。

长上下文测试的产出是「敢开到多少」，不是「营销数字能抄进配置」。

转载请注明：周志洋的博客 » 长上下文实测：宣称能吃下和线上敢开是两件事