proto.lib

Request Hedging cho Tail Latency

Gửi thêm một request dự phòng sau một khoảng trễ nếu request đầu chưa trả lời, giúp cắt giảm p99 latency với chi phí tài nguyên nhỏ.

ArchitectureTrung bình2026-07-14
Request Hedging cho Tail Latency

Tags

#hedged-requests#tail-latency#p99#redundancy#fan-out

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ArchitectureTrung bình

Tách Hot Path và Cold Path

Request path chỉ làm đúng những gì phản hồi cho người dùng cần (validate, ghi nhận sự kiện, trả kết quả), còn enrichment, notification, indexing và analytics chạy bất đồng bộ ở cold path — nên p99 chỉ phụ thuộc một lượng việc nhỏ, và một dependency enrichment chậm không thể làm fail lượt ghi.

#hot-path#cold-path#latency#async-processing
ArchitectureCơ bản

API Composition Query

API composer nhận một truy vấn từ client, gọi song song nhiều service con rồi gộp kết quả lại thành một response duy nhất.

#api-composition#query#fan-out#microservices
ArchitectureCơ bản

Pub/Sub - Giải kết hợp hướng sự kiện

Producer chỉ publish sự kiện vào broker, không cần biết ai đang lắng nghe; nhiều consumer độc lập nhận cùng một sự kiện.

#pub-sub#event-driven#decoupling#message-broker