proto.lib

Gang Scheduling cho Distributed Training

Một job cần 64 GPU phải được cấp phát TẤT CẢ CÙNG LÚC vì các worker đồng bộ qua allreduce theo lô; cấp phát dần từng phần dễ dẫn tới deadlock khi hai job giữ nửa tài nguyên của nhau, nên scheduler chỉ admit job khi đủ cả gang và kill cả gang cùng lúc khi cần thu hồi.

AI/ML SystemsNâng cao2026-08-24
Gang Scheduling cho Distributed Training

Tags

#gang-scheduling#distributed-training#gpu-cluster#scheduler#deadlock#preemption#job-queue

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Checkpoint và Resume trong Training quy mô lớn

Ở quy mô nghìn GPU, phần cứng hỏng vài giờ một lần nên job phải định kỳ ghi checkpoint gồm trọng số mô hình, trạng thái optimizer, vị trí data loader và RNG state; checkpoint được sharded theo rank và ghi bất đồng bộ để GPU không chờ storage, cho phép resume chính xác sau sự cố.

#checkpointing#fault-tolerance#distributed-training#optimizer-state
AI/ML SystemsNâng cao

ZeRO - Optimizer State Sharding

ZeRO chia optimizer state, gradient rồi cả tham số qua 3 stage tăng dần, giảm bộ nhớ dư thừa của data parallel truyền thống.

#zero#deepspeed#optimizer-state#sharding
AI/ML SystemsTrung bình

Request Priority & Preemption trong LLM Serving

Request ưu tiên cao có thể chiếm dụng slot batch của request thấp hơn; request bị preempt có thể bị swap KV cache ra ngoài hoặc phải recompute sau.

#preemption#priority-scheduling#kv-cache#fairness