proto.lib

Chunked Prefill - chia nhỏ prefill để tránh chặn decode

Prefill của request dài được chia thành nhiều chunk nhỏ, xen kẽ với các bước decode của request khác để giảm độ trễ đuôi (tail latency).

AI/ML SystemsNâng cao2026-07-15
Chunked Prefill - chia nhỏ prefill để tránh chặn decode

Tags

#chunked-prefill#llm-serving#scheduling#latency#batching

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsNâng cao

SLO-aware Inference Scheduling

Bộ lập lịch inference ưu tiên request theo deadline TTFT/TPOT, sắp xếp lại hàng đợi để tối đa số request đạt SLO thay vì chỉ tối đa throughput.

#scheduling#slo#ttft#throughput
AI/ML SystemsTrung bình

Semantic Cache cho LLM

Cache câu trả lời LLM theo độ tương đồng embedding của câu hỏi: câu hỏi gần giống trả về kết quả cache, giảm chi phí và độ trễ, nhưng có rủi ro false hit.

#semantic-cache#embeddings#llm-serving#cost-optimization
AI/ML SystemsNâng cao

Continuous Batching cho LLM

Continuous batching cho phép scheduler thêm request mới và loại request đã xong ngay trong từng bước decode, thay vì đợi cả batch tĩnh hoàn tất, giúp GPU luôn bận.

#batching#scheduler#gpu#throughput