proto.lib

Gradient Accumulation - Mô phỏng batch lớn

Gradient accumulation cộng dồn gradient qua nhiều micro-batch trước khi gọi optimizer.step(), mô phỏng batch size lớn trên GPU bộ nhớ hạn chế.

AI/ML SystemsCơ bản2026-07-15
Gradient Accumulation - Mô phỏng batch lớn

Tags

#gradient-accumulation#micro-batch#batch-size#memory-efficiency#training

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Gradient Checkpointing khi huấn luyện

Gradient checkpointing chỉ lưu một số activation làm mốc, các activation còn lại được tính lại khi backward, đổi thời gian để lấy bộ nhớ.

#gradient-checkpointing#memory-efficiency#activation-recomputation#training
AI/ML SystemsNâng cao

Ngân sách VRAM & batch size: vì sao OOM ở request thứ 40

VRAM chứa weights cố định cộng activation tỉ lệ với batch size nhân sequence length; một batch vừa vặn ở input ngắn có thể nổ VRAM ở input dài, và một CUDA OOM thường giết chết cả process (mọi request đang chạy dở), nên cần tính ngân sách trước và chặn bằng admission limit thay vì để crash.

#gpu-memory#vram-budget#batch-size#cuda-oom
AI/ML SystemsTrung bình

Mixed Precision Training - bf16/fp8

Trọng số master giữ ở fp32, tính toán chạy ở bf16/fp8 tốc độ cao, kèm loss scaling để tránh underflow gradient.

#mixed-precision#bf16#fp8#loss-scaling