proto.lib

Contamination Trong Benchmark LLM

Nếu câu hỏi của benchmark (hoặc bản paraphrase gần giống) đã lọt vào dữ liệu huấn luyện, model chỉ đang nhớ lại chứ không suy luận, khiến điểm leaderboard trở nên vô nghĩa; cần phát hiện bằng overlap n-gram/embedding với corpus huấn luyện, canary string cài trong test set, và eval riêng tư mới tạo sau ngày cutoff.

AI/ML SystemsNâng cao2026-08-24
Contamination Trong Benchmark LLM

Tags

#evaluation#benchmark#contamination#data-leakage#llm-eval

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Cổng CI chặn hồi quy prompt (Prompt Regression CI Gate)

Mỗi thay đổi prompt phải chạy qua một bộ case cố định với assertion tự động (schema hợp lệ, must-contain/must-not-contain, ngưỡng điểm judge) cùng ngân sách chi phí/độ trễ, và pull request bị chặn merge nếu có hồi quy — vì một câu chữ sửa được case này thường làm hỏng case khác.

#prompt-engineering#ci-cd#regression-testing#evaluation
AI/ML SystemsTrung bình

So sánh cặp và xếp hạng Elo cho model (Pairwise Preference)

Khi không có ground truth, rater được cho xem hai câu trả lời ẩn danh cho cùng một prompt và chọn câu tốt hơn; các kết quả so sánh cặp này được quy về một rating kiểu Elo kèm khoảng tin cậy, đáng tin hơn nhiều so với việc chấm điểm tuyệt đối 1-10 cho từng câu riêng lẻ.

#evaluation#elo-rating#pairwise-comparison#llm-judge
AI/ML SystemsTrung bình

LLM-as-a-Judge Evaluation

Dùng một LLM mạnh làm giám khảo để chấm điểm và so sánh output của các mô hình khác theo rubric định sẵn, thay cho đánh giá thủ công.

#llm-as-judge#evaluation#benchmark#rubric