问题

上游要维护，或者主实例已经挂了。调用方不能改 Key，也不能改 Base URL。如果主备各发一把令牌，切换就变成改所有客户端。

处理

在 New API 里给同一个对外模型名挂主、备两个渠道。优先级高的走主，主失败再重试到备。客户端一直用同一把令牌。

上线前：

• 备渠道先单独测通，再抬权重。没测通的备等于没有
• 两边模型映射一致。只改一边，请求会 404
• 重试次数收小。主挂时重试太猛，会把备一起打满，超时更难看
• 主备不要指向同一张卡。那张卡挂了，两条渠道一起没

维护

把主渠道禁用，或把优先级调到备下面。结束后再改回来。不要在维护窗口里轮换令牌。

怎么确认

• 停掉主实例后，同一把令牌仍能完成一次短 chat，New API 日志里走的是备渠道
• 调用方看到的模型名不变
• 渠道失败率和重试次数能分开看。备接流量时 TTFT 变了要能看出来，卡型不同是正常的
• 引擎侧继续看 TTFT 和错误率，不要只看 New API 显示「渠道正常」

转载请注明：周志洋的博客 » New API挂了主备渠道之后