proto.lib

Cổng CI chặn hồi quy prompt (Prompt Regression CI Gate)

Mỗi thay đổi prompt phải chạy qua một bộ case cố định với assertion tự động (schema hợp lệ, must-contain/must-not-contain, ngưỡng điểm judge) cùng ngân sách chi phí/độ trễ, và pull request bị chặn merge nếu có hồi quy — vì một câu chữ sửa được case này thường làm hỏng case khác.

AI/ML SystemsTrung bình2026-08-25
Cổng CI chặn hồi quy prompt (Prompt Regression CI Gate)

Tags

#prompt-engineering#ci-cd#regression-testing#evaluation#llm-eval#devops

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Eval Regression Gate trong CI

Bộ eval vàng chạy như test trong CI: mỗi lần đổi prompt hoặc model, hệ thống chạy lại toàn bộ eval, so điểm với baseline đã lưu, và chặn merge nếu điểm tụt quá ngưỡng; để chống nhiễu, cần chạy nhiều lần và so theo khoảng tin cậy thay vì so từng điểm đơn lẻ.

#eval#ci-cd#regression-testing#llm-eval
AI/ML SystemsNâng cao

Contamination Trong Benchmark LLM

Nếu câu hỏi của benchmark (hoặc bản paraphrase gần giống) đã lọt vào dữ liệu huấn luyện, model chỉ đang nhớ lại chứ không suy luận, khiến điểm leaderboard trở nên vô nghĩa; cần phát hiện bằng overlap n-gram/embedding với corpus huấn luyện, canary string cài trong test set, và eval riêng tư mới tạo sau ngày cutoff.

#evaluation#benchmark#contamination#data-leakage
AI/ML SystemsTrung bình

Thiết kế Tool Schema cho Agent

Bộ tool của agent nên ít nhưng rõ vai trò: mỗi tool có mô tả đủ để model chọn đúng, tham số bắt buộc/tuỳ chọn tách bạch, và error message phải dạy model tự sửa lần gọi kế tiếp thay vì chỉ báo lỗi suông.

#agent#tool-use#function-calling#schema-design