proto.lib

Saturation của Thread Pool: Queue Wait ẩn giấu

Khi mọi worker trong thread pool đều bận, request mới phải xếp hàng chờ trong queue của pool; tổng latency = queue wait time + service time, nhưng nếu chỉ đo thời gian xử lý bên trong handler thì thành phần queue wait hoàn toàn vô hình.

ObservabilityTrung bình2026-08-20
Saturation của Thread Pool: Queue Wait ẩn giấu

Tags

#thread-pool#queue-wait#saturation#littles-law#backpressure#latency

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityTrung bình

Quan sát Connection Pool phía Client

Một service trông vẫn khoẻ mạnh trong khi connection pool tới database đã cạn là một bí ẩn có thể giải ngay nếu bạn export pool size, số connection đang dùng, thời gian chờ để lấy connection và số lần timeout khi acquire — bốn số liệu này biến câu hỏi 'database chậm hay do hết connection' thành chẩn đoán hai giây.

#connection-pool#client-metrics#acquisition-wait#database
ObservabilityCơ bản

Bốn Golden Signals: Latency, Traffic, Errors, Saturation

Bốn tín hiệu vàng theo SRE Book của Google — latency, traffic, errors, saturation — tạo thành dashboard tối thiểu cần thiết cho mọi service.

#golden-signals#sre#dashboard#latency
ObservabilityNâng cao

Autoscaling theo SLO thay vì CPU

CPU là một proxy dễ gây lừa với service nghẽn I/O; controller nên scale theo chính SLI (latency so với objective, hoặc queue wait) với một headroom target, kèm guardrail để outage của dependency không kích hoạt scale-up vô hạn chỉ làm tải thêm nặng.

#autoscaling#slo#sli#latency