proto.lib

SLO-aware Inference Scheduling

Bộ lập lịch inference ưu tiên request theo deadline TTFT/TPOT, sắp xếp lại hàng đợi để tối đa số request đạt SLO thay vì chỉ tối đa throughput.

AI/ML SystemsNâng cao2026-07-15
SLO-aware Inference Scheduling

Tags

#scheduling#slo#ttft#throughput#llm-serving

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

Chunked Prefill - chia nhỏ prefill để tránh chặn decode

Prefill của request dài được chia thành nhiều chunk nhỏ, xen kẽ với các bước decode của request khác để giảm độ trễ đuôi (tail latency).

#chunked-prefill#llm-serving#scheduling#latency
AI/ML SystemsNâng cao

Continuous Batching cho LLM

Continuous batching cho phép scheduler thêm request mới và loại request đã xong ngay trong từng bước decode, thay vì đợi cả batch tĩnh hoàn tất, giúp GPU luôn bận.

#batching#scheduler#gpu#throughput
AI/ML SystemsNâng cao

KV Cache Eviction: khi bộ nhớ đệm đầy trước khi hội thoại kết thúc

KV cache lớn dần theo từng token sinh ra; khi vượt ngân sách bộ nhớ, hệ thống phải bỏ token nào đó — giữ vài token đầu và một cửa sổ gần đây rồi xoá phần giữa, hoặc chấm điểm token theo attention tích luỹ và xoá token ít được chú ý nhất.

#kv-cache#eviction#attention-score#memory-budget