跳转至

AI API 429 限流怎么处理:退避、并发和重试预算

直接结论:429 不是“多重试几次”就能解决。先读响应头和错误类别,再降低并发或等待窗口,并给重试设置总预算。

常见原因

  • 每分钟请求数或 Token 数超过限制;
  • 单 Key 并发过高;
  • 余额、额度或会员窗口不足;
  • 服务端临时保护。

推荐策略

  1. 优先读取 Retry-After,没有时使用带抖动的指数退避。
  2. 设置最大尝试次数和总等待时间。
  3. 为非幂等操作使用请求 ID,避免重复扣费或重复写入。
  4. 对流式请求区分连接中断和已产生部分输出的情况。
  5. 记录脱敏后的状态、等待时间和最终结果。

不要无限重试,也不要自动切换到未授权的模型或分组。详细实现可参考限流、重试与并发控制

FAQ

429 一定代表服务不稳定吗?

不一定。它可能是客户端并发超过限制,也可能是账号额度不足,必须结合响应头和账单状态判断。