proto.lib

Disaggregated Prefill/Decode Serving

Tách riêng cụm GPU cho prefill (nặng tính toán) và cụm GPU cho decode (nặng băng thông nhớ), truyền KV cache qua mạng giữa hai cụm.

AI/ML SystemsNâng cao2026-07-15
Disaggregated Prefill/Decode Serving

Tags

#disaggregated-serving#prefill-decode#kv-cache-transfer#llm-serving#gpu-cluster

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

KV Cache Eviction: khi bộ nhớ đệm đầy trước khi hội thoại kết thúc

KV cache lớn dần theo từng token sinh ra; khi vượt ngân sách bộ nhớ, hệ thống phải bỏ token nào đó — giữ vài token đầu và một cửa sổ gần đây rồi xoá phần giữa, hoặc chấm điểm token theo attention tích luỹ và xoá token ít được chú ý nhất.

#kv-cache#eviction#attention-score#memory-budget
AI/ML SystemsNâng cao

Gang Scheduling cho Distributed Training

Một job cần 64 GPU phải được cấp phát TẤT CẢ CÙNG LÚC vì các worker đồng bộ qua allreduce theo lô; cấp phát dần từng phần dễ dẫn tới deadlock khi hai job giữ nửa tài nguyên của nhau, nên scheduler chỉ admit job khi đủ cả gang và kill cả gang cùng lúc khi cần thu hồi.

#gang-scheduling#distributed-training#gpu-cluster#scheduler
AI/ML SystemsNâng cao

SLO-aware Inference Scheduling

Bộ lập lịch inference ưu tiên request theo deadline TTFT/TPOT, sắp xếp lại hàng đợi để tối đa số request đạt SLO thay vì chỉ tối đa throughput.

#scheduling#slo#ttft#throughput