proto.lib

SLO Theo Tuổi Message Cũ Nhất, Không Phải Theo Độ Sâu Hàng Đợi

Độ sâu hàng đợi (queue depth) là chỉ số gây hiểu lầm vì cùng một con số 10.000 có thể vô hại ở tốc độ 5.000 msg/s hoặc thảm hoạ ở tốc độ 5 msg/s; tuổi của message cũ nhất chưa xử lý là một SLO độ tươi (freshness) đầu-cuối, và cảnh báo nên dựa vào đạo hàm của tuổi đó.

MessagingTrung bình2026-08-20
SLO Theo Tuổi Message Cũ Nhất, Không Phải Theo Độ Sâu Hàng Đợi

Tags

#queue-depth#message-age#freshness-slo#alerting#per-partition#producer-timestamp#monitoring

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Kafka Consumer Lag Monitoring & Alerting

Lag là khoảng cách giữa log-end-offset và offset đã commit của consumer group; giám sát lag giúp phát hiện sớm tình trạng consumer xử lý không kịp.

#kafka#consumer-lag#monitoring#alerting
MessagingTrung bình

Autoscaling Consumer Theo Queue Depth

Hệ thống tự động tăng/giảm số lượng consumer dựa trên độ sâu hàng đợi hoặc consumer lag để giữ độ trễ xử lý ổn định.

#autoscaling#queue-depth#consumer-lag#scaling
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format