AI API 契约测试清单:认证、错误、流式和用量¶
直接结论:契约测试不追求一次覆盖所有模型,而是固定最小输入,验证客户端依赖的字段、状态码和事件顺序。
最小测试集¶
| 用例 | 通过条件 |
|---|---|
| 正常文本 | 返回合法内容和 request ID |
| 无效 Key | 401,且不泄露内部信息 |
| 无效模型 | 404,错误类别明确 |
| 超过限制 | 429,带可处理的等待提示 |
| 流式 | 首事件、增量事件、结束事件完整 |
| 工具调用 | 参数可解析,结果可回传 |
| usage | 输入、输出和缓存口径可核对 |
测试原则¶
- 固定客户端、模型、输入和版本;
- 测试 Key 单独创建并可撤销;
- 失败只记录脱敏摘要;
- 不用一次成功请求推断长期稳定性;
- 对结果标注“未测试”,不要用空值伪装通过。