proto.lib

Semantic Cache cho LLM

Cache câu trả lời LLM theo độ tương đồng embedding của câu hỏi: câu hỏi gần giống trả về kết quả cache, giảm chi phí và độ trễ, nhưng có rủi ro false hit.

AI/ML SystemsTrung bình2026-07-10
Semantic Cache cho LLM

Tags

#semantic-cache#embeddings#llm-serving#cost-optimization#latency

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Model nhỏ cho Classification, Escalate khi tin cậy thấp

Thay vì gọi LLM lớn cho mọi bước phân loại–routing–trích xuất, hệ thống dùng model nhỏ/rẻ (hoặc classifier fine-tune) trước, chỉ escalate lên model lớn khi độ tin cậy dưới ngưỡng; cascade này đánh đổi một phần độ chính xác biên để giảm mạnh chi phí và độ trễ trung bình.

#model-cascade#classification#confidence-threshold#cost-optimization
AI/ML SystemsNâng cao

Chunked Prefill - chia nhỏ prefill để tránh chặn decode

Prefill của request dài được chia thành nhiều chunk nhỏ, xen kẽ với các bước decode của request khác để giảm độ trễ đuôi (tail latency).

#chunked-prefill#llm-serving#scheduling#latency
AI/ML SystemsTrung bình

Prompt Prefix Caching

Cache trạng thái KV của tiền tố prompt dùng chung (system prompt, few-shot) để các request lặp lại bỏ qua việc tính lại phần đó, giảm độ trễ và chi phí.

#prompt-caching#prefix-cache#kv-cache#latency