Checkpoint và Resume trong Training quy mô lớn

Ở quy mô nghìn GPU, phần cứng hỏng vài giờ một lần nên job phải định kỳ ghi checkpoint gồm trọng số mô hình, trạng thái optimizer, vị trí data loader và RNG state; checkpoint được sharded theo rank và ghi bất đồng bộ để GPU không chờ storage, cho phép resume chính xác sau sự cố.