proto.lib

Trigger Tự động Retrain: Champion/Challenger

Retraining có thể kích hoạt theo lịch, theo ngưỡng drift/chất lượng, hoặc khi đủ dữ liệu có nhãn mới; pipeline huấn luyện lại trên cửa sổ dữ liệu mới, và candidate phải thắng incumbent trên một tập đánh giá cố định (frozen) trước khi được promote, kèm rollback tự động và chặn vòng lặp phản hồi.

AI/ML SystemsNâng cao2026-08-20
Trigger Tự động Retrain: Champion/Challenger

Tags

#retraining#champion-challenger#model-promotion#rollback#feedback-loop#mlops

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsCơ bản

Experiment Tracking: dựng lại được mô hình đã huấn luyện

Mỗi lần chạy huấn luyện cần ghi lại commit code, phiên bản dữ liệu, toàn bộ config, phiên bản môi trường/thư viện, random seed, và metrics/artifact kết quả — để một kết quả có thể được tái tạo, so sánh công bằng với một run song song, và truy vết ngược từ model đã deploy về đúng cách nó được tạo ra.

#experiment-tracking#reproducibility#mlops#random-seed
AI/ML SystemsNâng cao

Chọn mẫu để gán nhãn bằng Active Learning

Thay vì gán nhãn ngẫu nhiên, pipeline chọn những mẫu model đang KHÔNG CHẮC nhất (hoặc hai model bất đồng, hoặc xa mọi mẫu đã có nhãn) để gửi cho annotator, rồi retrain và lặp lại — đạt độ chính xác tương đương với chi phí gán nhãn thấp hơn nhiều so với random sampling.

#active-learning#data-labeling#annotation#uncertainty-sampling
AI/ML SystemsTrung bình

Loss Spike và Gradient Clipping

Một batch xấu hoặc một bước cập nhật không may có thể tạo gradient rất lớn phá hỏng trọng số; norm của gradient được clip trước khi optimizer step, đồng thời run giám sát NaN/Inf do tràn số ở độ chính xác thấp để có thể skip batch hoặc rollback về checkpoint trước với learning rate giảm.

#gradient-clipping#loss-spike#training-stability#nan-inf