Khi AI Skill chạy trong nhiều bước, chỉ nhìn câu trả lời cuối thường không đủ để biết lỗi bắt đầu từ đâu. Observability cho AI Skill là cách ghi lại tín hiệu định tuyến, nguồn, trạng thái, output và lỗi theo từng bước để có thể tái hiện, phân loại và sửa đúng nguyên nhân.
Observability trong AI Skill là gì?
Observability không chỉ là lưu log. Đó là khả năng trả lời Skill đã nhận đầu vào nào, đã quyết định điều gì và vì sao đầu ra có kết quả như vậy. Hệ thống tốt tách dữ kiện, quyết định và lỗi.
Vì sao cần observability cho Skill?
Lỗi có thể xuất hiện ở router, nguồn, công cụ, output contract hoặc handoff. Log có cấu trúc giúp khoanh vùng nhanh và tạo ca regression mới thay vì chỉ nhìn câu trả lời cuối.
Sáu nhóm tín hiệu nên ghi lại
Ghi request và correlation ID, routing decision, source và evidence, tool và thời gian xử lý, output contract, cùng handoff và next_action. Không ghi secret hoặc dữ liệu riêng tư không cần thiết.
Thiết kế schema log dễ đọc
Bản ghi tối thiểu có timestamp, correlation_id, skill_version, event, status, evidence_state, next_action và error_code. Tên trường nên nhất quán với output contract và handoff.
Phân loại lỗi để sửa đúng lớp
Phân loại routing error, source error, tool error, contract error, handoff error và presentation error. Phân loại đúng giúp sửa description, contract hoặc rule đúng chỗ.
Từ log đến ca kiểm thử mới
Tạo bản tái hiện tối thiểu gồm input, phiên bản, routing decision và output sai. Sau khi sửa, thêm ca đó vào regression suite với kết quả mong đợi.
Checklist bảo vệ dữ liệu trong log
Không ghi password, token, khóa API hoặc dữ liệu cá nhân không cần thiết; rút gọn hoặc băm nội dung dài; tách quyền xem log; ghi rõ thời gian lưu và loại bỏ dữ liệu thừa khi chia sẻ lỗi.
Checklist triển khai observability
Có correlation ID; ghi routing, evidence, tool, contract và handoff; schema dùng tên trường ổn định; có error code; lỗi tái hiện được trở thành regression case; log không chứa secret.
Có cần lưu toàn bộ prompt và output không?
Không. Chỉ lưu đủ dữ liệu để chẩn đoán, ưu tiên mã tham chiếu, bản rút gọn hoặc hash khi nội dung có thể nhạy cảm.
Log có làm AI Skill chạy chậm hơn không?
Có thể có chi phí xử lý, nhưng schema gọn và ghi theo sự kiện giúp kiểm soát. Chỉ ghi chi tiết ở bước cần chẩn đoán hoặc trong môi trường kiểm thử.
Khi nào nên tạo dashboard?
Khi có nhiều phiên chạy hoặc nhiều người phụ thuộc vào Skill. Trước đó, schema log nhất quán và bộ lọc lỗi rõ thường quan trọng hơn giao diện dashboard.
Observability biến lỗi AI Skill thành chuỗi sự kiện có thể truy vết. Hãy ghi routing, evidence, contract, handoff và error code; bảo vệ dữ liệu; rồi biến lỗi tái hiện được thành test hồi quy. Đọc thêm đo lường chất lượng AI Skill, error handling AI Skill và versioning AI Skill.