proto.lib

Kiểm tra sức khoẻ GPU trước khi admit Job huấn luyện

Trước khi một job nhiều GPU được admit, mỗi node ứng viên chạy diagnostic ngắn (memory test, một collective mẫu qua fabric, số lỗi ECC và nhiệt độ); node lỗi bị cordon ra khỏi pool và thay thế trước khi job khởi động — vì lỗi thường gặp là một thiết bị suy giảm, không phải chết hẳn.

Data CenterNâng cao2026-08-25
Kiểm tra sức khoẻ GPU trước khi admit Job huấn luyện

Tags

#gpu-health-check#pre-flight#dcgm#ecc-errors#gang-scheduling#node-cordon

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

Data CenterNâng cao

Xếp hàng Batch Job theo Quota có mượn/trả (borrowing)

Trong cluster GPU dùng chung nhiều team, một hàng đợi (queue) chặn job huấn luyện lại và chỉ admit khi đủ QUOTA của team, cho phép mượn quota nhàn rỗi của team khác rồi bị preempt khi team chủ sở hữu cần lại, đồng thời admit theo kiểu tất-cả-hoặc-không-gì để tránh gang job kẹt nửa chừng.

#kubernetes#batch#job-queueing#quota
Data CenterNâng cao

Phân phối image ngang hàng (P2P) trong cluster

Thay vì mọi node kéo image trực tiếp từ registry gốc, node đã có sẵn layer chia sẻ lại cho các node khác qua mạng nội bộ cluster; registry gốc chỉ phục vụ lần kéo đầu tiên, giảm nghẽn khi scale hàng trăm pod cùng lúc nhưng cần xác thực layer lấy từ peer.

#p2p#image-distribution#registry#scale-out
Data CenterTrung bình

Quét lỗ hổng image tại admission gate

Trước khi pod được admit vào cluster, admission controller gọi scanner kiểm tra CVE của image theo digest; kết quả được cache theo digest để không quét lại, image có lỗ hổng nghiêm trọng bị chặn trừ khi nằm trong allowlist có thời hạn.

#image-scanning#cve#admission-controller#supply-chain