AI API 429 限流怎么处理:退避、并发和重试预算¶
直接结论:429 不是“多重试几次”就能解决。先读响应头和错误类别,再降低并发或等待窗口,并给重试设置总预算。
常见原因¶
- 每分钟请求数或 Token 数超过限制;
- 单 Key 并发过高;
- 余额、额度或会员窗口不足;
- 服务端临时保护。
推荐策略¶
- 优先读取
Retry-After,没有时使用带抖动的指数退避。 - 设置最大尝试次数和总等待时间。
- 为非幂等操作使用请求 ID,避免重复扣费或重复写入。
- 对流式请求区分连接中断和已产生部分输出的情况。
- 记录脱敏后的状态、等待时间和最终结果。
不要无限重试,也不要自动切换到未授权的模型或分组。详细实现可参考限流、重试与并发控制。
FAQ¶
429 一定代表服务不稳定吗?¶
不一定。它可能是客户端并发超过限制,也可能是账号额度不足,必须结合响应头和账单状态判断。