proto.lib

Chia sẻ GPU: MIG và Time-Slicing

Chia sẻ một GPU cho nhiều workload suy luận qua MIG (phân vùng phần cứng với bộ nhớ cách ly) hoặc time-slicing (chuyển ngữ cảnh), đánh đổi giữa cách ly và mức độ sử dụng.

AI/ML SystemsNâng cao2026-07-10
Chia sẻ GPU: MIG và Time-Slicing

Tags

#gpu#mig#time-slicing#scheduling#utilization

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Cold start GPU: nạp model & warm-up trước khi nhận traffic

Request đầu tiên sau khi scale-up một pod GPU chậm tới vài giây: kéo image/weights nhiều GB, load lên RAM, copy sang VRAM, rồi lần suy luận đầu phải trả giá khởi tạo CUDA context và JIT/autotune kernel; giải pháp là cache weights sẵn, warm pool và readiness gate bằng inference giả lập.

#gpu#cold-start#model-warmup#cuda-context
AI/ML SystemsNâng cao

SLO-aware Inference Scheduling

Bộ lập lịch inference ưu tiên request theo deadline TTFT/TPOT, sắp xếp lại hàng đợi để tối đa số request đạt SLO thay vì chỉ tối đa throughput.

#scheduling#slo#ttft#throughput
AI/ML SystemsNâng cao

Chunked Prefill - chia nhỏ prefill để tránh chặn decode

Prefill của request dài được chia thành nhiều chunk nhỏ, xen kẽ với các bước decode của request khác để giảm độ trễ đuôi (tail latency).

#chunked-prefill#llm-serving#scheduling#latency