Đánh giá AI Skill cần dựa trên bộ test đại diện thay vì cảm nhận từ một vài câu trả lời. Cách này giúp so sánh phiên bản và phát hiện lỗi sớm.
Chọn tiêu chí đánh giá
Tiêu chí có thể gồm độ đúng, độ đầy đủ, tính nhất quán, thời gian, chi phí và mức tuân thủ guardrail.
Thiết kế bộ test đại diện
Bộ test nên có ca đúng, ca thiếu dữ liệu, ca ngoài phạm vi và ca có rủi ro. Mỗi ca cần có đầu ra mong đợi.
Theo dõi kết quả sau triển khai
Sau triển khai, ghi nhận lỗi thực tế và đưa ca lỗi vào bộ test hồi quy. Không nên chỉ đo bằng một chỉ số.
Có nên đánh giá Skill chỉ bằng điểm của mô hình không?
Không. Điểm mô hình chỉ là một tín hiệu. Cần kết hợp kiểm tra nội dung, hành vi, chi phí, thời gian và đánh giá của con người.