proto.lib

Prompt Prefix Caching

Cache trạng thái KV của tiền tố prompt dùng chung (system prompt, few-shot) để các request lặp lại bỏ qua việc tính lại phần đó, giảm độ trễ và chi phí.

AI/ML SystemsTrung bình2026-07-10
Prompt Prefix Caching

Tags

#prompt-caching#prefix-cache#kv-cache#latency#cost-optimization

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Model nhỏ cho Classification, Escalate khi tin cậy thấp

Thay vì gọi LLM lớn cho mọi bước phân loại–routing–trích xuất, hệ thống dùng model nhỏ/rẻ (hoặc classifier fine-tune) trước, chỉ escalate lên model lớn khi độ tin cậy dưới ngưỡng; cascade này đánh đổi một phần độ chính xác biên để giảm mạnh chi phí và độ trễ trung bình.

#model-cascade#classification#confidence-threshold#cost-optimization
AI/ML SystemsTrung bình

Semantic Cache cho LLM

Cache câu trả lời LLM theo độ tương đồng embedding của câu hỏi: câu hỏi gần giống trả về kết quả cache, giảm chi phí và độ trễ, nhưng có rủi ro false hit.

#semantic-cache#embeddings#llm-serving#cost-optimization
AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization