Rate limit giới hạn tần suất gọi; tool budget giới hạn tổng số lần gọi, thời gian và tài nguyên cho một tác vụ. Hai lớp giúp AI Skill ổn định và dễ dự báo chi phí.
Rate limit và tool budget khác nhau thế nào?
Rate limit trả lời được gọi bao nhiêu lần trong một khoảng thời gian; tool budget trả lời một phiên được tiêu tốn bao nhiêu tài nguyên. Một Skill có thể dưới rate limit nhưng vẫn vượt budget do chuỗi gọi dài.
Bốn loại hạn mức nên có
Hạn mức theo người dùng và phiên; hạn mức theo công cụ; hạn mức theo workflow; hạn mức retry với backoff và điều kiện dừng.
Xử lý khi vượt hạn mức
Trả trạng thái RATE_LIMITED, BUDGET_EXCEEDED hoặc NEEDS_REVIEW. Không tự mở rộng quyền hay âm thầm bỏ qua bước quan trọng.
Theo dõi và tối ưu budget
Log số lần gọi, thời gian, mã công cụ, nguyên nhân retry và budget còn lại; không ghi secret. Dùng observability AI Skill để tìm công cụ gây tốn tài nguyên.
Checklist triển khai
Có rate limit theo người dùng, phiên và công cụ; tool budget theo workflow; retry có backoff; trạng thái vượt hạn mức rõ; không tự mở rộng quyền; log an toàn; đã test đồng thời, timeout, retry loop và budget bằng không.
Có nên retry mọi lỗi không?
Không. Chỉ retry lỗi tạm thời; lỗi quyền, schema hoặc dữ liệu thiếu cần dừng và báo rõ.
Budget có cần lưu qua các lần handoff không?
Có. Handoff nên truyền budget còn lại và số lần đã dùng để Skill sau không vượt trần chung.
Rate limit kiểm soát nhịp gọi, còn tool budget kiểm soát tổng chi phí. Kết hợp quota, retry có backoff, trạng thái vượt hạn mức và log an toàn để AI Skill bền vững hơn. Xem thêm output contract AI Skill.