Gradient Checkpointing khi huấn luyện

Gradient checkpointing chỉ lưu một số activation làm mốc, các activation còn lại được tính lại khi backward, đổi thời gian để lấy bộ nhớ.

AI/ML SystemsTrung bình2026-07-15

Tài liệu tham khảo

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Gradient accumulation cộng dồn gradient qua nhiều micro-batch trước khi gọi optimizer.step(), mô phỏng batch size lớn trên GPU bộ nhớ hạn chế.

Trọng số master giữ ở fp32, tính toán chạy ở bf16/fp8 tốc độ cao, kèm loss scaling để tránh underflow gradient.

Learning rate tăng dần tuyến tính trong giai đoạn warmup, rồi suy giảm theo hàm cosine về gần 0 tới cuối training.