Learning Rate Warmup và Cosine Decay

Learning rate tăng dần tuyến tính trong giai đoạn warmup, rồi suy giảm theo hàm cosine về gần 0 tới cuối training.

AI/ML SystemsCơ bản2026-07-15

Tài liệu tham khảo

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Trọng số master giữ ở fp32, tính toán chạy ở bf16/fp8 tốc độ cao, kèm loss scaling để tránh underflow gradient.

Gradient checkpointing chỉ lưu một số activation làm mốc, các activation còn lại được tính lại khi backward, đổi thời gian để lấy bộ nhớ.

Gradient accumulation cộng dồn gradient qua nhiều micro-batch trước khi gọi optimizer.step(), mô phỏng batch size lớn trên GPU bộ nhớ hạn chế.