proto.lib

ZeRO - Optimizer State Sharding

ZeRO chia optimizer state, gradient rồi cả tham số qua 3 stage tăng dần, giảm bộ nhớ dư thừa của data parallel truyền thống.

AI/ML SystemsNâng cao2026-07-15
ZeRO - Optimizer State Sharding

Tags

#zero#deepspeed#optimizer-state#sharding#distributed-training

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Checkpoint và Resume trong Training quy mô lớn

Ở quy mô nghìn GPU, phần cứng hỏng vài giờ một lần nên job phải định kỳ ghi checkpoint gồm trọng số mô hình, trạng thái optimizer, vị trí data loader và RNG state; checkpoint được sharded theo rank và ghi bất đồng bộ để GPU không chờ storage, cho phép resume chính xác sau sự cố.

#checkpointing#fault-tolerance#distributed-training#optimizer-state
AI/ML SystemsNâng cao

FSDP - Fully Sharded Data Parallel

FSDP chia nhỏ tham số, gradient và optimizer state của mô hình ra nhiều GPU, chỉ tái tạo bản đầy đủ tạm thời khi cần tính toán.

#fsdp#data-parallel#sharding#distributed-training
AI/ML SystemsNâng cao

Gang Scheduling cho Distributed Training

Một job cần 64 GPU phải được cấp phát TẤT CẢ CÙNG LÚC vì các worker đồng bộ qua allreduce theo lô; cấp phát dần từng phần dễ dẫn tới deadlock khi hai job giữ nửa tài nguyên của nhau, nên scheduler chỉ admit job khi đủ cả gang và kill cả gang cùng lúc khi cần thu hồi.

#gang-scheduling#distributed-training#gpu-cluster#scheduler