proto.lib

Ring All-Reduce - Đồng bộ gradient khi train phân tán

Các GPU trao đổi từng phần gradient theo vòng qua RDMA gồm 2 pha reduce-scatter và all-gather, để mọi GPU đều nhận được tổng gradient một cách tiết kiệm băng thông.

Data CenterNâng cao2026-07-04
Ring All-Reduce - Đồng bộ gradient khi train phân tán

Tags

#allreduce#nccl#gpu#rdma#distributed-training#ring

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

Data CenterNâng cao

Dynamic Resource Allocation (DRA): xin thiết bị theo thuộc tính

Thay vì khai báo một số nguyên đếm thiết bị như mô hình device plugin cũ, DRA cho phép workload tạo ResourceClaim mô tả thuộc tính và ràng buộc cần thiết (đủ VRAM, cùng interconnect); driver của thiết bị quyết định cách cấp phát và scheduler chỉ đặt Pod vào node thoả được claim đó.

#kubernetes#dra#gpu#resource-claim
Data CenterNâng cao

Làm mát bằng chất lỏng cho rack GPU: cold plate → CDU → facility loop

Khi mật độ công suất một rack GPU tăng từ ~10kW lên 50-130kW, thể tích khí cần thổi để tải nhiệt trở nên phi thực tế; direct-to-chip cold plate dẫn nhiệt từ GPU/CPU vào manifold rồi tới CDU, nơi trao đổi nhiệt sang vòng nước cơ sở của toà nhà.

#liquid-cooling#cold-plate#cdu#gpu
Data CenterNâng cao

RoCEv2 & DCQCN - Kiểm soát tắc nghẽn cho RDMA

Switch đánh dấu ECN khi quá tải, NIC nhận gửi CNP về NIC gửi để giảm tốc độ bơm dữ liệu rồi phục hồi dần, giữ RDMA lossless.

#rocev2#dcqcn#rdma#ecn