proto.lib

Rò rỉ dữ liệu khi chia train/test (Data Leakage)

Một feature tính trên toàn bộ dataset (target encoding, scaler fit trước khi chia) hoặc một dòng trùng lặp nằm ở cả train lẫn test khiến validation accuracy rất cao nhưng production sụp đổ; nguyên nhân là mô hình đã 'nhìn thấy' tương lai hoặc thông tin của tập test trong lúc huấn luyện.

AI/ML SystemsTrung bình2026-08-20
Rò rỉ dữ liệu khi chia train/test (Data Leakage)

Tags

#data-leakage#train-test-split#cross-validation#time-series#feature-engineering#overfitting

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Point-in-Time Feature Join: tránh leakage khi ghép feature

Một training row phải được ghép với giá trị feature ĐÚNG như tại thời điểm event xảy ra (as-of join theo entity, lấy bản ghi mới nhất không muộn hơn timestamp), không phải giá trị feature hôm nay — ghép nhầm với giá trị tương lai khiến model offline trông rất tốt nhưng sụp khi serving thực tế.

#point-in-time-join#feature-store#data-leakage#as-of-join
AI/ML SystemsTrung bình

Curriculum Learning: thứ tự dữ liệu cũng là hyperparameter

Curriculum learning sắp xếp lịch huấn luyện từ ví dụ dễ/ngắn/sạch sang khó/dài/nhiễu thay vì shuffle ngẫu nhiên, giúp mô hình hội tụ nhanh hơn và đạt điểm tốt hơn; nhưng lịch trình quá gắt khiến mô hình overfit vào phân phối dễ và không kịp thích nghi.

#curriculum-learning#training-schedule#data-ordering#overfitting
AI/ML SystemsTrung bình

Backtesting Time-Series Forecast: Rolling-Origin

Không thể shuffle dữ liệu theo thời gian nên validation phải đi TIẾN: train tới mốc t, dự báo horizon tiếp theo, dịch cửa sổ, lặp lại; mọi feature phải tính được tại thời điểm dự báo (không dùng aggregate tương lai), và baseline cần vượt qua thường là 'giống tuần trước'.

#time-series#forecasting#backtesting#rolling-origin