proto.lib

So sánh cặp và xếp hạng Elo cho model (Pairwise Preference)

Khi không có ground truth, rater được cho xem hai câu trả lời ẩn danh cho cùng một prompt và chọn câu tốt hơn; các kết quả so sánh cặp này được quy về một rating kiểu Elo kèm khoảng tin cậy, đáng tin hơn nhiều so với việc chấm điểm tuyệt đối 1-10 cho từng câu riêng lẻ.

AI/ML SystemsTrung bình2026-08-25
So sánh cặp và xếp hạng Elo cho model (Pairwise Preference)

Tags

#evaluation#elo-rating#pairwise-comparison#llm-judge#ranking#benchmark

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Độ đồng thuận Annotator và Chất lượng Nhãn Eval

Chất lượng của một bộ evaluation phụ thuộc vào chất lượng nhãn: nhiều annotator chấm cùng một item, độ đồng thuận (inter-annotator agreement) được đo, đồng thuận thấp là dấu hiệu RUBRIC mơ hồ chứ không phải annotator kém, tranh chấp được phân xử (adjudicate), và bộ gold set kết quả trở thành chuẩn để calibrate một LLM-judge tự động.

#evaluation#annotation#inter-annotator-agreement#gold-set
AI/ML SystemsNâng cao

Contamination Trong Benchmark LLM

Nếu câu hỏi của benchmark (hoặc bản paraphrase gần giống) đã lọt vào dữ liệu huấn luyện, model chỉ đang nhớ lại chứ không suy luận, khiến điểm leaderboard trở nên vô nghĩa; cần phát hiện bằng overlap n-gram/embedding với corpus huấn luyện, canary string cài trong test set, và eval riêng tư mới tạo sau ngày cutoff.

#evaluation#benchmark#contamination#data-leakage
AI/ML SystemsTrung bình

LLM-as-a-Judge Evaluation

Dùng một LLM mạnh làm giám khảo để chấm điểm và so sánh output của các mô hình khác theo rubric định sẵn, thay cho đánh giá thủ công.

#llm-as-judge#evaluation#benchmark#rubric