proto.lib

Sizing thread pool: CPU-bound vs I/O-bound

Số thread tối ưu phụ thuộc bản chất công việc: tác vụ CPU-bound nên giới hạn quanh số core (thêm thread chỉ tăng context switch và cache pressure), còn tác vụ I/O-bound cần nhiều thread hơn vì phần lớn thời gian là chờ, tỉ lệ theo công thức kiểu Little's law (N ≈ core × (1 + wait/service)). Dùng chung một pool cho cả hai loại việc luôn sai cho ít nhất một phía.

ConcurrencyTrung bình2026-08-21
Sizing thread pool: CPU-bound vs I/O-bound

Tags

#thread-pool#cpu-bound#io-bound#throughput#littles-law#context-switch#sizing

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ConcurrencyNâng cao

Lock Convoy: đoàn tàu chờ khoá dù critical section nhỏ

Khi rất nhiều luồng cùng xếp hàng chờ một khoá và trình lập lịch dùng chính sách công bằng (FIFO wakeup), mỗi lần trao khoá phải trả giá context switch và cache lạnh dù công việc bên trong khoá chỉ vài nano giây — hệ thống tiêu tốn thời gian để 'đoàn tàu' (convoy) di chuyển hơn là để tính toán.

#lock-convoy#context-switch#fairness#spinlock
ConcurrencyNâng cao

Blocking pool phân vùng theo loại việc (spawn_blocking)

Runtime bất đồng bộ chuyển việc blocking sang một pool riêng để worker async tiếp tục poll, nhưng nếu chỉ có MỘT pool chung thì một filesystem call chậm và một DNS lookup chậm sẽ cạnh tranh nhau; giải pháp là chia pool theo từng loại việc, mỗi loại có giới hạn (bound) riêng và caller nhận timeout thay vì chờ vô hạn.

#spawn-blocking#thread-pool#async-runtime#bulkhead
ConcurrencyTrung bình

Semaphore Barging vs FIFO (ai được cấp permit tiếp theo)

Semaphore barging (unfair) cho phép thread vừa tới giành permit trước cả các thread đang đợi trong hàng đợi, vì thread đó đang chạy sẵn và cache còn nóng — tối đa hoá throughput nhưng có thể khiến một thread bị đợi rất lâu; semaphore FIFO cấp permit đúng thứ tự để chặn trên latency.

#semaphore#fairness#barging#fifo