proto.lib

Batching thích ứng: đánh đổi độ trễ và throughput

Bộ gom batch flush khi đạt ngưỡng kích thước HOẶC khi timer hết hạn; phiên bản adaptive rút ngắn timer lúc tải thấp để một request đơn lẻ không bị chờ lâu, và cho batch lớn dần lúc tải cao vì hàng đợi đã đầy nên việc chờ gần như không mất thêm gì.

ConcurrencyTrung bình2026-08-25
Batching thích ứng: đánh đổi độ trễ và throughput

Tags

#batching#latency#throughput#adaptive#queueing#tail-latency

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ConcurrencyTrung bình

Semaphore Barging vs FIFO (ai được cấp permit tiếp theo)

Semaphore barging (unfair) cho phép thread vừa tới giành permit trước cả các thread đang đợi trong hàng đợi, vì thread đó đang chạy sẵn và cache còn nóng — tối đa hoá throughput nhưng có thể khiến một thread bị đợi rất lâu; semaphore FIFO cấp permit đúng thứ tự để chặn trên latency.

#semaphore#fairness#barging#fifo
ConcurrencyCơ bản

Blocking Call trong Event Loop: một lệnh đồng bộ chặn cả nghìn request

Event loop phục vụ hàng nghìn kết nối trên một luồng duy nhất bằng cách không bao giờ block; một lệnh đồng bộ (DB driver blocking, JSON.parse dữ liệu lớn, bcrypt.hashSync, fs.readFileSync) chiếm luồng đó khiến TOÀN BỘ callback đang chờ phải đứng khựng lại, dù chúng chẳng liên quan gì tới request đang chạy.

#event-loop#blocking-io#nodejs#single-threaded
ConcurrencyNâng cao

Lock Convoy: đoàn tàu chờ khoá dù critical section nhỏ

Khi rất nhiều luồng cùng xếp hàng chờ một khoá và trình lập lịch dùng chính sách công bằng (FIFO wakeup), mỗi lần trao khoá phải trả giá context switch và cache lạnh dù công việc bên trong khoá chỉ vài nano giây — hệ thống tiêu tốn thời gian để 'đoàn tàu' (convoy) di chuyển hơn là để tính toán.

#lock-convoy#context-switch#fairness#spinlock