AI Skill có thể bị kích hoạt nhầm cho yêu cầu ngoài phạm vi hoặc bị bỏ qua khi người dùng thật sự cần. Bài viết hướng dẫn cách phân loại lỗi, sửa phạm vi trong SKILL.md và kiểm thử lại bằng các ca positive, negative control và edge case.
AI Skill bị kích hoạt nhầm và bị bỏ qua khác nhau thế nào?
Kích hoạt nhầm (false positive) xảy ra khi Skill nhận cả yêu cầu không thuộc phạm vi; bị bỏ qua (false negative) là trường hợp người dùng cần Skill nhưng mô tả hoặc trigger chưa đủ rõ. Hai lỗi này cần tách riêng vì cách sửa trái ngược nhau: thu hẹp phạm vi để giảm kích hoạt nhầm, hoặc bổ sung tín hiệu nhận diện để tránh bị bỏ qua.
Nguyên nhân khiến Skill kích hoạt sai
Nguyên nhân phổ biến gồm description dùng từ quá rộng, trigger chứa từ khóa chung chung, thiếu điều kiện loại trừ và nhiều Skill cùng nhận một nhóm yêu cầu. Hãy lập bảng các câu kích hoạt đúng, câu gần giống nhưng không nên kích hoạt và câu ngoài phạm vi để nhìn ra điểm chồng lấn.
Cách chẩn đoán lỗi bằng yêu cầu positive và negative control
Hãy kiểm tra theo ba lớp: positive case phải kích hoạt đúng Skill; negative control phải bị từ chối; edge case phải cho kết quả ổn định khi thay đổi cách diễn đạt. Ghi lại câu lệnh, Skill được chọn, lý do chọn và đầu ra để phân biệt lỗi định tuyến với lỗi thực thi.
Quy trình sửa description, trigger và phạm vi Skill
Bắt đầu bằng việc sửa description thành một câu nêu rõ đối tượng, kết quả và giới hạn. Sau đó thu hẹp trigger bằng tín hiệu đặc trưng, thêm negative control cho các yêu cầu gần giống, rồi chạy lại bộ test hồi quy trước khi cập nhật phiên bản Skill.
Checklist kiểm tra trước khi đóng gói và triển khai
Checklist tối thiểu gồm: có ít nhất 3 positive case, 3 negative control, 2 edge case; không có trigger trùng với Skill khác; description nêu rõ phạm vi; đầu ra đạt tiêu chí chất lượng; và kết quả được ghi lại để so sánh sau mỗi lần chỉnh sửa.
Vì sao Skill bị kích hoạt nhầm dù description đã rõ?
Thường do trigger quá rộng, thiếu negative control hoặc phạm vi chồng lấn với Skill khác. Hãy thêm điều kiện loại trừ, ví dụ không thuộc phạm vi và chạy lại bộ test hồi quy.
Khi nào nên dùng negative control?
Dùng negative control cho các yêu cầu gần giống nhưng không nên kích hoạt Skill. Đây là cách phát hiện false positive trước khi xuất bản.
Để hiểu nền tảng, xem AI Skill là gì và cách viết SKILL.md, cách thiết kế trigger và negative control và cách xây dựng bộ test hồi quy.