proto.lib

Curriculum Learning: thứ tự dữ liệu cũng là hyperparameter

Curriculum learning sắp xếp lịch huấn luyện từ ví dụ dễ/ngắn/sạch sang khó/dài/nhiễu thay vì shuffle ngẫu nhiên, giúp mô hình hội tụ nhanh hơn và đạt điểm tốt hơn; nhưng lịch trình quá gắt khiến mô hình overfit vào phân phối dễ và không kịp thích nghi.

AI/ML SystemsTrung bình2026-08-25
Curriculum Learning: thứ tự dữ liệu cũng là hyperparameter

Tags

#curriculum-learning#training-schedule#data-ordering#overfitting#held-out-eval

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsCơ bản

Overfitting và Early Stopping (dừng sớm khi quá khớp)

Trong quá trình train, loss trên tập training luôn giảm dần nhưng loss trên tập validation chỉ giảm tới một điểm rồi quay đầu tăng lên — đó là lúc mô hình bắt đầu học thuộc lòng nhiễu của dữ liệu training thay vì học quy luật chung; early stopping giữ lại checkpoint có validation loss thấp nhất trong một cửa sổ patience, còn weight decay, dropout và thêm dữ liệu đẩy lùi điểm quay đầu này.

#overfitting#underfitting#early-stopping#regularization
AI/ML SystemsTrung bình

Rò rỉ dữ liệu khi chia train/test (Data Leakage)

Một feature tính trên toàn bộ dataset (target encoding, scaler fit trước khi chia) hoặc một dòng trùng lặp nằm ở cả train lẫn test khiến validation accuracy rất cao nhưng production sụp đổ; nguyên nhân là mô hình đã 'nhìn thấy' tương lai hoặc thông tin của tập test trong lúc huấn luyện.

#data-leakage#train-test-split#cross-validation#time-series
AI/ML SystemsNâng cao

Parse JSON Chưa Đóng Khi Stream Tool Arguments

Khi model trả tool arguments theo stream, JSON thường chưa đóng ngoặc tại mỗi chunk; client cần một parser gia tăng dựng dần object để hiện UI sớm, nhưng chỉ thực thi tool khi JSON đã hoàn chỉnh và hợp lệ theo schema.

#streaming#tool-use#json-parsing#function-calling