proto.lib

Thread Pool Executor

Thread pool nhận task vào hàng đợi, N worker thread lấy và chạy, tái sử dụng thread, và cơ chế từ chối khi hàng đợi đầy.

ConcurrencyTrung bình2026-07-02
Thread Pool Executor

Tags

#thread-pool#executor#worker#queue

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ConcurrencyNâng cao

Blocking pool phân vùng theo loại việc (spawn_blocking)

Runtime bất đồng bộ chuyển việc blocking sang một pool riêng để worker async tiếp tục poll, nhưng nếu chỉ có MỘT pool chung thì một filesystem call chậm và một DNS lookup chậm sẽ cạnh tranh nhau; giải pháp là chia pool theo từng loại việc, mỗi loại có giới hạn (bound) riêng và caller nhận timeout thay vì chờ vô hạn.

#spawn-blocking#thread-pool#async-runtime#bulkhead
ConcurrencyTrung bình

Sizing thread pool: CPU-bound vs I/O-bound

Số thread tối ưu phụ thuộc bản chất công việc: tác vụ CPU-bound nên giới hạn quanh số core (thêm thread chỉ tăng context switch và cache pressure), còn tác vụ I/O-bound cần nhiều thread hơn vì phần lớn thời gian là chờ, tỉ lệ theo công thức kiểu Little's law (N ≈ core × (1 + wait/service)). Dùng chung một pool cho cả hai loại việc luôn sai cho ít nhất một phía.

#thread-pool#cpu-bound#io-bound#throughput
ConcurrencyNâng cao

Sync-over-Async Deadlock: block một luồng pool để chờ chính pool đó

Gọi .Result/.get()/block_on bên trong request handler để chờ đồng bộ một tác vụ bất đồng bộ sẽ giữ chết một luồng worker, trong khi continuation của tác vụ đó lại phải xếp hàng chờ MỘT luồng worker khác trong cùng pool để chạy tiếp; nếu pool cạn luồng, không ai hoàn tất được gì — dịch vụ deadlock hoàn toàn dù CPU gần như rảnh.

#deadlock#thread-pool#async-await#blocking