proto.lib

Single-flight - Gộp request trùng lặp

Nhiều client cùng yêu cầu một key chưa có trong cache; single-flight gộp thành một lệnh gọi backend duy nhất rồi chia sẻ kết quả.

ConcurrencyNâng cao2026-07-08
Single-flight - Gộp request trùng lặp

Tags

#single-flight#memoization#cache#thundering-herd#deduplication

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ConcurrencyTrung bình

Cache dùng Weak Reference — không giữ object sống mãi

Cache giữ entry qua weak reference để bộ quản lý bộ nhớ có thể thu hồi object khi cần, và bản thân map phải tự dọn các entry đã chết (qua reference queue hoặc quét định kỳ) — nếu không sẽ tích tụ vô số holder trống không bao giờ được giải phóng.

#weak-reference#cache#gc#memory-reclamation
ConcurrencyNâng cao

Lock Convoy: đoàn tàu chờ khoá dù critical section nhỏ

Khi rất nhiều luồng cùng xếp hàng chờ một khoá và trình lập lịch dùng chính sách công bằng (FIFO wakeup), mỗi lần trao khoá phải trả giá context switch và cache lạnh dù công việc bên trong khoá chỉ vài nano giây — hệ thống tiêu tốn thời gian để 'đoàn tàu' (convoy) di chuyển hơn là để tính toán.

#lock-convoy#context-switch#fairness#spinlock
ConcurrencyNâng cao

Thiết kế cache LRU đồng thời (sharded, không một khoá lớn)

Một cache LRU dùng một mutex toàn cục sẽ khiến mọi lookup nối hàng nhau; giải pháp thực tế là chia map thành nhiều shard (mỗi shard tự có lock) để lookup chỉ chạm một shard, và thay việc di chuyển node trong danh sách LRU nghiêm ngặt trên mỗi lần hit bằng CLOCK/second-chance bit hoặc access log theo lô để tránh tuần tự hoá.

#cache#lru#sharding#clock-algorithm