proto.lib

LLM-as-a-Judge Evaluation

Dùng một LLM mạnh làm giám khảo để chấm điểm và so sánh output của các mô hình khác theo rubric định sẵn, thay cho đánh giá thủ công.

AI/ML SystemsTrung bình2026-07-15
LLM-as-a-Judge Evaluation

Tags

#llm-as-judge#evaluation#benchmark#rubric#model-comparison

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Bộ chấm điểm Eval cho LLM

Chạy các bộ dữ liệu benchmark qua mô hình, chấm điểm tự động và dùng một LLM khác làm giám khảo cho các câu trả lời mở.

#evaluation#benchmark#llm-as-judge#testing
AI/ML SystemsTrung bình

So sánh cặp và xếp hạng Elo cho model (Pairwise Preference)

Khi không có ground truth, rater được cho xem hai câu trả lời ẩn danh cho cùng một prompt và chọn câu tốt hơn; các kết quả so sánh cặp này được quy về một rating kiểu Elo kèm khoảng tin cậy, đáng tin hơn nhiều so với việc chấm điểm tuyệt đối 1-10 cho từng câu riêng lẻ.

#evaluation#elo-rating#pairwise-comparison#llm-judge
AI/ML SystemsNâng cao

Contamination Trong Benchmark LLM

Nếu câu hỏi của benchmark (hoặc bản paraphrase gần giống) đã lọt vào dữ liệu huấn luyện, model chỉ đang nhớ lại chứ không suy luận, khiến điểm leaderboard trở nên vô nghĩa; cần phát hiện bằng overlap n-gram/embedding với corpus huấn luyện, canary string cài trong test set, và eval riêng tư mới tạo sau ngày cutoff.

#evaluation#benchmark#contamination#data-leakage