proto.lib

Đánh giá RAG - Faithfulness & Context Precision

Đánh giá hệ RAG bằng các chỉ số tách bạch chất lượng retrieval (context precision/recall) khỏi chất lượng generation (faithfulness, answer relevancy).

AI/ML SystemsNâng cao2026-07-15
Đánh giá RAG - Faithfulness & Context Precision

Tags

#rag-eval#faithfulness#context-precision#llm-judge#ragas

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

So sánh cặp và xếp hạng Elo cho model (Pairwise Preference)

Khi không có ground truth, rater được cho xem hai câu trả lời ẩn danh cho cùng một prompt và chọn câu tốt hơn; các kết quả so sánh cặp này được quy về một rating kiểu Elo kèm khoảng tin cậy, đáng tin hơn nhiều so với việc chấm điểm tuyệt đối 1-10 cho từng câu riêng lẻ.

#evaluation#elo-rating#pairwise-comparison#llm-judge
AI/ML SystemsTrung bình

Độ đồng thuận Annotator và Chất lượng Nhãn Eval

Chất lượng của một bộ evaluation phụ thuộc vào chất lượng nhãn: nhiều annotator chấm cùng một item, độ đồng thuận (inter-annotator agreement) được đo, đồng thuận thấp là dấu hiệu RUBRIC mơ hồ chứ không phải annotator kém, tranh chấp được phân xử (adjudicate), và bộ gold set kết quả trở thành chuẩn để calibrate một LLM-judge tự động.

#evaluation#annotation#inter-annotator-agreement#gold-set
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling