proto.lib

Độ đồng thuận Annotator và Chất lượng Nhãn Eval

Chất lượng của một bộ evaluation phụ thuộc vào chất lượng nhãn: nhiều annotator chấm cùng một item, độ đồng thuận (inter-annotator agreement) được đo, đồng thuận thấp là dấu hiệu RUBRIC mơ hồ chứ không phải annotator kém, tranh chấp được phân xử (adjudicate), và bộ gold set kết quả trở thành chuẩn để calibrate một LLM-judge tự động.

AI/ML SystemsTrung bình2026-08-25
Độ đồng thuận Annotator và Chất lượng Nhãn Eval

Tags

#evaluation#annotation#inter-annotator-agreement#gold-set#llm-judge

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

So sánh cặp và xếp hạng Elo cho model (Pairwise Preference)

Khi không có ground truth, rater được cho xem hai câu trả lời ẩn danh cho cùng một prompt và chọn câu tốt hơn; các kết quả so sánh cặp này được quy về một rating kiểu Elo kèm khoảng tin cậy, đáng tin hơn nhiều so với việc chấm điểm tuyệt đối 1-10 cho từng câu riêng lẻ.

#evaluation#elo-rating#pairwise-comparison#llm-judge
AI/ML SystemsTrung bình

Cổng CI chặn hồi quy prompt (Prompt Regression CI Gate)

Mỗi thay đổi prompt phải chạy qua một bộ case cố định với assertion tự động (schema hợp lệ, must-contain/must-not-contain, ngưỡng điểm judge) cùng ngân sách chi phí/độ trễ, và pull request bị chặn merge nếu có hồi quy — vì một câu chữ sửa được case này thường làm hỏng case khác.

#prompt-engineering#ci-cd#regression-testing#evaluation
AI/ML SystemsTrung bình

Fine-tune hay RAG: Chọn đúng công cụ sửa lỗi

Retrieval bổ sung SỰ KIỆN thay đổi thường xuyên và cần trích dẫn được, còn fine-tuning định hình HÀNH VI (format, văn phong, quy ước ngầm của một domain, việc từ chối đúng thứ cần từ chối) và không theo kịp dữ liệu thay đổi; mặc định trung thực là prompt + retrieval trước, fine-tune khi lỗi mang tính văn phong/cấu trúc, và kết hợp cả hai cho tác vụ hẹp nhưng khối lượng lớn.

#rag#fine-tuning#llm#architecture-decision