proto.lib

Autoscaling Consumer Theo Queue Depth

Hệ thống tự động tăng/giảm số lượng consumer dựa trên độ sâu hàng đợi hoặc consumer lag để giữ độ trễ xử lý ổn định.

MessagingTrung bình2026-07-08
Autoscaling Consumer Theo Queue Depth

Tags

#autoscaling#queue-depth#consumer-lag#scaling#operations

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingNâng cao

Kẹt Ở Last Stable Offset Với read_committed

Khi producer dùng transaction và consumer đọc isolation.level=read_committed, consumer không thể đọc vượt qua Last Stable Offset (LSO); một transaction chạy dài hoặc bị bỏ rơi sẽ chặn toàn bộ message phía sau nó, khiến lag tăng dù broker hoàn toàn khoẻ mạnh.

#read-committed#last-stable-offset#kafka-transactions#consumer-lag
MessagingTrung bình

SLO Theo Tuổi Message Cũ Nhất, Không Phải Theo Độ Sâu Hàng Đợi

Độ sâu hàng đợi (queue depth) là chỉ số gây hiểu lầm vì cùng một con số 10.000 có thể vô hại ở tốc độ 5.000 msg/s hoặc thảm hoạ ở tốc độ 5 msg/s; tuổi của message cũ nhất chưa xử lý là một SLO độ tươi (freshness) đầu-cuối, và cảnh báo nên dựa vào đạo hàm của tuổi đó.

#queue-depth#message-age#freshness-slo#alerting
MessagingTrung bình

Drain Backlog Sau Sự Cố (10 Triệu Message Tồn Đọng)

Khi consumer ngừng chạy nhiều giờ, lag tích tụ hàng chục triệu message; thêm consumer chỉ tăng throughput tới khi số consumer bằng số partition, sau đó consumer thừa đứng chờ vì mỗi partition chỉ gán được một consumer trong cùng group.

#consumer-lag#backlog#partitions#batch-size