ZeRO - Optimizer State Sharding
Ba stage giảm dần bộ nhớ dư thừa của data parallel
0.6×
1×
1.6×
2.4×
Phím tắt: ←/→ từng bước · Space tự chạy/tạm dừng