proto.lib

AI Gateway: một cửa duy nhất cho mọi lệnh gọi LLM trong công ty

AI gateway giữ toàn bộ credential nhà cung cấp, định tuyến theo model alias để đổi provider chỉ là thay cấu hình, ép quota/budget theo team, cache prompt trùng lặp, retry và failover khi một provider suy giảm chất lượng, đồng thời phát ra telemetry usage/cost/latency mà từng service riêng lẻ sẽ không ai chịu tự làm.

ArchitectureTrung bình2026-08-26
AI Gateway: một cửa duy nhất cho mọi lệnh gọi LLM trong công ty

Tags

#ai-gateway#llm-routing#failover#cost-metering#provider-abstraction#caching#quota

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ArchitectureTrung bình

Cache Key Versioning: chìa khoá phải mã hoá cả hình dạng dữ liệu

Một cache key an toàn phải mã hoá mọi thứ giá trị phụ thuộc vào: định danh thực thể, phiên bản serialisation/schema, tenant hoặc locale, và biến thể feature-flag — để khi code đổi hình dạng dữ liệu, cache chỉ miss sạch sẽ thay vì trả về một blob mà code mới không parse được.

#caching#cache-key#versioning#schema-evolution
ArchitectureTrung bình

Luồng request qua tầng hạ tầng (Sankey)

Biểu đồ Sankey minh hoạ luồng và tỉ lệ request qua CDN, Load Balancer, App tier, cache và database — càng ra tới database càng đắt.

#sankey#request-flow#cdn#load-balancer
ArchitectureTrung bình

Warm Standby - Active-Passive Failover

Một site đứng chờ (standby) đồng bộ dữ liệu liên tục từ site chính; khi site chính hỏng, health monitor kích hoạt failover sang standby.

#failover#warm-standby#active-passive#high-availability