proto.lib

Edge Compute Placement

Logic tính toán được đặt gần người dùng tại các edge node của CDN thay vì origin server, giảm độ trễ cho các request phổ biến.

ArchitectureCơ bản2026-07-17
Edge Compute Placement

Tags

#edge-computing#cdn#latency#edge-function#caching

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ArchitectureTrung bình

Luồng request qua tầng hạ tầng (Sankey)

Biểu đồ Sankey minh hoạ luồng và tỉ lệ request qua CDN, Load Balancer, App tier, cache và database — càng ra tới database càng đắt.

#sankey#request-flow#cdn#load-balancer
ArchitectureTrung bình

Multi-Level Cache: L1 và L2

L1 là cache cục bộ trong tiến trình rất nhanh nhưng nhỏ, L2 là cache phân tán dùng chung giữa nhiều instance; request đi qua L1 rồi L2 trước khi chạm database.

#caching#l1-l2-cache#multi-level-cache#latency
ArchitectureTrung bình

AI Gateway: một cửa duy nhất cho mọi lệnh gọi LLM trong công ty

AI gateway giữ toàn bộ credential nhà cung cấp, định tuyến theo model alias để đổi provider chỉ là thay cấu hình, ép quota/budget theo team, cache prompt trùng lặp, retry và failover khi một provider suy giảm chất lượng, đồng thời phát ra telemetry usage/cost/latency mà từng service riêng lẻ sẽ không ai chịu tự làm.

#ai-gateway#llm-routing#failover#cost-metering