proto.lib

Kafka Consumer Lag Monitoring & Alerting

Lag là khoảng cách giữa log-end-offset và offset đã commit của consumer group; giám sát lag giúp phát hiện sớm tình trạng consumer xử lý không kịp.

MessagingTrung bình2026-07-07
Kafka Consumer Lag Monitoring & Alerting

Tags

#kafka#consumer-lag#monitoring#alerting#observability

Tài liệu tham khảo

Mở rộng

Animation gốc là một file HTML tự chứa, có thể nhúng lại ở bất kỳ trang nào khác. Mở file gốc

Liên quan

MessagingTrung bình

Cách ly nhiều tenant trên một broker (namespace, quota, dedicated resource)

Một broker dùng chung cho nhiều khách hàng: không cách ly thì một tenant burst traffic hoặc backlog khổng lồ sẽ làm chậm tất cả người khác. Giải pháp là tách namespace/vhost/topic theo tenant, gán quota riêng, và với tenant ồn ào nhất thì cấp partition hoặc cluster riêng.

#multi-tenancy#isolation#quotas#throttling
MessagingTrung bình

SLO Theo Tuổi Message Cũ Nhất, Không Phải Theo Độ Sâu Hàng Đợi

Độ sâu hàng đợi (queue depth) là chỉ số gây hiểu lầm vì cùng một con số 10.000 có thể vô hại ở tốc độ 5.000 msg/s hoặc thảm hoạ ở tốc độ 5 msg/s; tuổi của message cũ nhất chưa xử lý là một SLO độ tươi (freshness) đầu-cuối, và cảnh báo nên dựa vào đạo hàm của tuổi đó.

#queue-depth#message-age#freshness-slo#alerting
MessagingNâng cao

Sink stream (Kafka) xuống Lakehouse: file cột + commit metadata

Sink connector đọc liên tục từ Kafka, gom bản ghi theo cửa sổ thời gian thành file cột (Parquet), rồi commit một snapshot metadata mới cho bảng lakehouse; exactly-once đạt được bằng cách gắn việc commit offset Kafka với chính việc commit snapshot đó, không tách rời.

#kafka#sink-connector#lakehouse#table-format