Loss Spike và Gradient Clipping

Một batch xấu hoặc một bước cập nhật không may có thể tạo gradient rất lớn phá hỏng trọng số; norm của gradient được clip trước khi optimizer step, đồng thời run giám sát NaN/Inf do tràn số ở độ chính xác thấp để có thể skip batch hoặc rollback về checkpoint trước với learning rate giảm.