proto.lib

Request Coalescing (Singleflight)

Nhiều client cùng gọi một tài nguyên tốn kém; service gộp các request trùng thành một lần gọi backend duy nhất để tránh thundering herd.

ArchitectureNâng cao2026-07-07
Request Coalescing (Singleflight)

Tags

#singleflight#request-coalescing#thundering-herd#dedup#caching

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ArchitectureTrung bình

AI Gateway: một cửa duy nhất cho mọi lệnh gọi LLM trong công ty

AI gateway giữ toàn bộ credential nhà cung cấp, định tuyến theo model alias để đổi provider chỉ là thay cấu hình, ép quota/budget theo team, cache prompt trùng lặp, retry và failover khi một provider suy giảm chất lượng, đồng thời phát ra telemetry usage/cost/latency mà từng service riêng lẻ sẽ không ai chịu tự làm.

#ai-gateway#llm-routing#failover#cost-metering
ArchitectureTrung bình

Constant Work Pattern: tải cố định bất kể có thay đổi hay không

Thay vì phản ứng theo sự kiện (mà tần suất tăng vọt đúng lúc có sự cố), thành phần định kỳ xử lý lại TOÀN BỘ trạng thái — đẩy lại một snapshot cấu hình đầy đủ, hoặc reconcile toàn bộ — nên tải của nó luôn phẳng và hành vi vào ngày xấu nhất giống hệt hành vi được kiểm thử mỗi ngày.

#constant-work#reliability#load-shedding#config-distribution
ArchitectureTrung bình

Cache vs Materialized View cho Read nhanh

Cache được nạp theo yêu cầu (on-demand) và có hạn dùng (expire) — đơn giản, tự phục hồi, nhưng lạnh sau deploy và có rủi ro thundering herd; materialized view/read model được duy trì bởi mỗi lượt ghi — luôn nóng, độ trễ dự đoán được, nhưng phải rebuild khi đổi shape và làm nặng thêm mỗi write.

#cache#materialized-view#read-model#thundering-herd