proto.lib

CPU Throttling Metrics: app chậm nhưng CPU usage thấp

CFS quota cấp cho cgroup một ngân sách CPU-time trong mỗi chu kỳ 100ms; hết ngân sách là mọi thread runnable phải chờ tới chu kỳ sau, hiện ra qua container_cpu_cfs_throttled_seconds_total và container_cpu_cfs_periods/nr_throttled — chứ không hiện qua %CPU trung bình cao.

ObservabilityTrung bình2026-08-20
CPU Throttling Metrics: app chậm nhưng CPU usage thấp

Tags

#cpu-throttling#cfs-quota#cadvisor#prometheus#container-metrics#latency

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

ObservabilityTrung bình

kube-state-metrics vs cAdvisor: hai nguồn dữ liệu khác nhau

cAdvisor nằm trong kubelet, đọc cgroups để báo cáo tài nguyên container đang dùng (CPU, memory, io); kube-state-metrics đọc API server và báo cáo trạng thái object (replicas mong muốn vs sẵn sàng, pod phase, restart count) — không đo tài nguyên nào cả. Hai nguồn này thường bị nhầm lẫn khi viết alert.

#kubernetes#cadvisor#kube-state-metrics#kubelet
ObservabilityNâng cao

container_memory_working_set_bytes: chọn đúng series trước khi OOM

container_memory_usage_bytes gồm cả page cache có thể thu hồi được, working_set_bytes trừ đi phần inactive file cache, còn RSS lại là một khái niệm khác nữa; quyết định OOM-kill của kernel dựa trên phần bộ nhớ KHÔNG THỂ thu hồi, nên container đầy page cache thường vẫn an toàn còn working set tăng dần mới là dấu hiệu nguy hiểm thật sự.

#memory-metrics#working-set#page-cache#oom
ObservabilityTrung bình

Latency Histogram và Percentiles (p50/p95/p99)

Đo latency bằng histogram thay vì trung bình cộng; tính p50/p95/p99 từ các bucket và lý do không được lấy trung bình percentile giữa nhiều instance.

#histogram#percentile#latency#prometheus