FSDP - Fully Sharded Data Parallel
Chia shard tham số, all-gather khi cần, reduce-scatter gradient
Phím tắt: ←/→ từng bước · Space tự chạy/tạm dừng
Chia shard tham số, all-gather khi cần, reduce-scatter gradient
Phím tắt: ←/→ từng bước · Space tự chạy/tạm dừng