proto.lib

Multi-Level Cache: L1 và L2

L1 là cache cục bộ trong tiến trình rất nhanh nhưng nhỏ, L2 là cache phân tán dùng chung giữa nhiều instance; request đi qua L1 rồi L2 trước khi chạm database.

ArchitectureTrung bình2026-07-17
Multi-Level Cache: L1 và L2

Tags

#caching#l1-l2-cache#multi-level-cache#latency#distributed-cache

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ArchitectureCơ bản

Edge Compute Placement

Logic tính toán được đặt gần người dùng tại các edge node của CDN thay vì origin server, giảm độ trễ cho các request phổ biến.

#edge-computing#cdn#latency#edge-function
ArchitectureTrung bình

AI Gateway: một cửa duy nhất cho mọi lệnh gọi LLM trong công ty

AI gateway giữ toàn bộ credential nhà cung cấp, định tuyến theo model alias để đổi provider chỉ là thay cấu hình, ép quota/budget theo team, cache prompt trùng lặp, retry và failover khi một provider suy giảm chất lượng, đồng thời phát ra telemetry usage/cost/latency mà từng service riêng lẻ sẽ không ai chịu tự làm.

#ai-gateway#llm-routing#failover#cost-metering
ArchitectureTrung bình

Sync vs Async Coupling: cùng một lệnh gọi, hai số phận

Gọi đồng bộ ràng buộc thời gian sống và độ trễ của caller vào callee — mô hình đơn giản, lỗi biết ngay, nhưng một chuỗi năm lệnh gọi nhân độ trễ và chia sẻ luôn số phận (callee sập thì caller sập theo); đẩy việc vào queue tách rời hai bên, đổi lại phải chấp nhận eventual consistency và cần một đường trạng thái/thông báo riêng.

#synchronous#asynchronous#coupling#queue