Overfitting và Early Stopping (dừng sớm khi quá khớp)

Trong quá trình train, loss trên tập training luôn giảm dần nhưng loss trên tập validation chỉ giảm tới một điểm rồi quay đầu tăng lên — đó là lúc mô hình bắt đầu học thuộc lòng nhiễu của dữ liệu training thay vì học quy luật chung; early stopping giữ lại checkpoint có validation loss thấp nhất trong một cửa sổ patience, còn weight decay, dropout và thêm dữ liệu đẩy lùi điểm quay đầu này.