周志洋

个人站

持续学习 才能不被淘汰


New API额度对不上时先看这几项

问题

Key 突然不能用,或者额度掉得比感觉快。自建 GPU 没有云账单,New API 的额度是发放策略,不是电表。两本账不分开看,会把「令牌用尽」误判成「vLLM 挂了」,或者把「70B 被打满」误判成「定价坏了」。

先查这四项

Key 不可用时按这个顺序,不要先重启引擎:

  1. 过期
  2. 禁用
  3. 额度光了
  4. 模型不在该令牌的白名单里

这四类最多。引擎健康、渠道测试也通,仍然会在令牌这一层被拒绝。

定价

14B 默认档便宜一点,32B/70B 标贵。不标价时,轻量请求会打到最重的模型上,额度很快耗尽,看起来像「没用多少就没了」。

两边对账

  • New API:按令牌、按模型看请求数和 token
  • 引擎:GPU 利用率,以及按模型拆开的 token、TTFT

对得上,就能看出是谁把 70B 打满。对不上,常见是渠道映射打到了另一个模型,或请求在 New API 之后又被网关改了名,两边记的不是同一个名字。

发放

正式令牌默认限额加过期。人离开先禁用令牌,不要只从名单里删人。

怎么确认

  • 把额度用尽的令牌再打一次,应返回额度相关错误,而不是上游 500
  • 禁用后立刻 401
  • 改价只影响新请求,旧日志仍按旧价,对账时不要把两段时间加在一起


转载请注明:周志洋的博客 » New API额度对不上时先看这几项

打赏一个呗

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦