proto.lib

Request Priority & Preemption trong LLM Serving

Request ưu tiên cao có thể chiếm dụng slot batch của request thấp hơn; request bị preempt có thể bị swap KV cache ra ngoài hoặc phải recompute sau.

AI/ML SystemsTrung bình2026-07-15
Request Priority & Preemption trong LLM Serving

Tags

#preemption#priority-scheduling#kv-cache#fairness#llm-serving

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

KV Cache Eviction: khi bộ nhớ đệm đầy trước khi hội thoại kết thúc

KV cache lớn dần theo từng token sinh ra; khi vượt ngân sách bộ nhớ, hệ thống phải bỏ token nào đó — giữ vài token đầu và một cửa sổ gần đây rồi xoá phần giữa, hoặc chấm điểm token theo attention tích luỹ và xoá token ít được chú ý nhất.

#kv-cache#eviction#attention-score#memory-budget
AI/ML SystemsNâng cao

KV Cache Offload xuống CPU/NVMe

Khi VRAM không đủ chứa KV cache của các phiên nhàn rỗi, hệ thống đẩy các block KV xuống CPU RAM hoặc NVMe rồi nạp lại khi request tiếp tục.

#kv-cache#offloading#memory-hierarchy#llm-serving
AI/ML SystemsNâng cao

PagedAttention - KV Cache theo Block

PagedAttention lưu KV cache thành các block cố định không liên tục, giống paging của OS, giúp xoá phân mảnh bộ nhớ và tăng throughput serving.

#paged-attention#kv-cache#vllm#memory-management