proto.lib

Đánh giá Agent qua Trajectory, không chỉ đáp án cuối

Chấm điểm một agent không thể chỉ nhìn câu trả lời cuối: cả quá trình chạy là một TRAJECTORY (agent gọi tool nào, với argument gì, theo thứ tự nào, tốn bao nhiêu bước và chi phí), nên evaluation phải kiểm cả kết quả VÀ đường đi bằng assertion theo từng bước trên một bộ scenario cố định.

AI/ML SystemsNâng cao2026-08-25
Đánh giá Agent qua Trajectory, không chỉ đáp án cuối

Tags

#agent-evaluation#trajectory#tool-calling#llm-eval#react-agent

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Eval Regression Gate trong CI

Bộ eval vàng chạy như test trong CI: mỗi lần đổi prompt hoặc model, hệ thống chạy lại toàn bộ eval, so điểm với baseline đã lưu, và chặn merge nếu điểm tụt quá ngưỡng; để chống nhiễu, cần chạy nhiều lần và so theo khoảng tin cậy thay vì so từng điểm đơn lẻ.

#eval#ci-cd#regression-testing#llm-eval
AI/ML SystemsTrung bình

Cổng CI chặn hồi quy prompt (Prompt Regression CI Gate)

Mỗi thay đổi prompt phải chạy qua một bộ case cố định với assertion tự động (schema hợp lệ, must-contain/must-not-contain, ngưỡng điểm judge) cùng ngân sách chi phí/độ trễ, và pull request bị chặn merge nếu có hồi quy — vì một câu chữ sửa được case này thường làm hỏng case khác.

#prompt-engineering#ci-cd#regression-testing#evaluation
AI/ML SystemsTrung bình

Parallel Tool Calls: chạy song song các lệnh gọi công cụ độc lập

Khi model phát ra nhiều tool call trong một turn, runtime thực thi song song các call ĐỘC LẬP và chỉ tuần tự hoá những call mà input phụ thuộc kết quả của call khác, rồi trả tất cả kết quả về cùng lúc — giảm một turn cần năm vòng round-trip xuống hai.

#tool-calling#parallel-execution#dependency-graph#agent-runtime