proto.lib

Hai hàng đợi nối tiếp: thread pool request và connection pool DB

Khi 200 request thread đứng trước một connection pool DB chỉ có 10 kết nối, giới hạn concurrency thực sự của hệ thống là pool NHỎ NHẤT trong chuỗi — 190 thread còn lại chỉ có thể chờ, mỗi thread chờ vẫn tốn RAM stack và một slot scheduler, và hàng đợi chờ có thể âm thầm phình to vượt quá timeout phía client trước khi bất kỳ ai nhận ra.

ConcurrencyTrung bình2026-08-21
Hai hàng đợi nối tiếp: thread pool request và connection pool DB

Tags

#connection-pool#thread-pool#backpressure#acquisition-timeout#queueing#load-shedding

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ConcurrencyNâng cao

Blocking pool phân vùng theo loại việc (spawn_blocking)

Runtime bất đồng bộ chuyển việc blocking sang một pool riêng để worker async tiếp tục poll, nhưng nếu chỉ có MỘT pool chung thì một filesystem call chậm và một DNS lookup chậm sẽ cạnh tranh nhau; giải pháp là chia pool theo từng loại việc, mỗi loại có giới hạn (bound) riêng và caller nhận timeout thay vì chờ vô hạn.

#spawn-blocking#thread-pool#async-runtime#bulkhead
ConcurrencyTrung bình

Channel Thay Cho Lock (Serialization qua Owner Task)

Thay vì mọi thread lock một vùng state dùng chung, một task duy nhất (owner) giữ độc quyền state đó và chỉ nhận message qua channel để đọc/sửa — biến mutual exclusion thành một hàng đợi, loại bỏ hoàn toàn khả năng deadlock giữa các lock vì chỉ còn một luồng chạy critical section.

#channel#owner-task#message-passing#serialization-point
ConcurrencyTrung bình

Bounded Mailbox: hộp thư có giới hạn buộc actor phải chọn chính sách backpressure

Một actor có mailbox không giới hạn là một memory leak trá hình; mailbox có giới hạn buộc hệ thống quyết định khi đầy — block sender (lan truyền backpressure), drop message mới nhất/cũ nhất, hoặc fail fast — và mỗi lựa chọn tạo ra một failure mode khác nhau cho toàn hệ thống.

#actor-model#mailbox#backpressure#bounded-queue