proto.lib

Multi-Model Router / Gateway

Một gateway đứng trước nhiều nhà cung cấp mô hình, định tuyến từng request theo chi phí, độ trễ và chất lượng yêu cầu, đồng thời tự động fallback sang provider khác khi có lỗi.

AI/ML SystemsTrung bình2026-07-13
Multi-Model Router / Gateway

Tags

#model-router#ai-gateway#fallback#cost-optimization#multi-provider

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

AI/ML SystemsTrung bình

Batch API cho Suy Luận Offline Khối Lượng Lớn

Batch API xử lý khối lượng lớn request không cần realtime: client nộp một file chứa nhiều yêu cầu, provider xử lý bất đồng bộ trong cửa sổ thời gian cam kết, client poll trạng thái rồi tải kết quả về; đổi lại chi phí thấp hơn nhiều, job phải được thiết kế idempotent và có cách xử lý phần thất bại riêng lẻ.

#batch-api#offline-inference#async-processing#cost-optimization
AI/ML SystemsTrung bình

Model nhỏ cho Classification, Escalate khi tin cậy thấp

Thay vì gọi LLM lớn cho mọi bước phân loại–routing–trích xuất, hệ thống dùng model nhỏ/rẻ (hoặc classifier fine-tune) trước, chỉ escalate lên model lớn khi độ tin cậy dưới ngưỡng; cascade này đánh đổi một phần độ chính xác biên để giảm mạnh chi phí và độ trễ trung bình.

#model-cascade#classification#confidence-threshold#cost-optimization
AI/ML SystemsTrung bình

Prompt Prefix Caching

Cache trạng thái KV của tiền tố prompt dùng chung (system prompt, few-shot) để các request lặp lại bỏ qua việc tính lại phần đó, giảm độ trễ và chi phí.

#prompt-caching#prefix-cache#kv-cache#latency