proto.lib

Batch Inference vs Online Serving

Batch (offline) inference tối đa hoá throughput trên cả tập dữ liệu không có ràng buộc độ trễ, trong khi online serving tối ưu độ trễ từng request với batching và autoscaling khác nhau.

AI/ML SystemsTrung bình2026-07-10
Batch Inference vs Online Serving

Tags

#batch-inference#online-serving#throughput#latency#model-serving

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Model nhỏ cho Classification, Escalate khi tin cậy thấp

Thay vì gọi LLM lớn cho mọi bước phân loại–routing–trích xuất, hệ thống dùng model nhỏ/rẻ (hoặc classifier fine-tune) trước, chỉ escalate lên model lớn khi độ tin cậy dưới ngưỡng; cascade này đánh đổi một phần độ chính xác biên để giảm mạnh chi phí và độ trễ trung bình.

#model-cascade#classification#confidence-threshold#cost-optimization
AI/ML SystemsTrung bình

Suy giảm Retrieval khi Context quá dài

Cửa sổ ngữ cảnh lớn hơn không đồng nghĩa mô hình 'nhớ' tốt hơn: khi nhồi hàng trăm chunk, độ chú ý (attention) tới thông tin nằm ở GIỮA ngữ cảnh suy giảm, các đoạn gây nhiễu (distractor) cạnh tranh với đoạn đúng, còn chi phí và độ trễ tăng tuyến tính theo số token.

#long-context#retrieval#attention#context-window
AI/ML SystemsNâng cao

SLO-aware Inference Scheduling

Bộ lập lịch inference ưu tiên request theo deadline TTFT/TPOT, sắp xếp lại hàng đợi để tối đa số request đạt SLO thay vì chỉ tối đa throughput.

#scheduling#slo#ttft#throughput